# 厂商为什么要做小模型？小模型有什么用

- URL: https://davidyin.dev/video/bv1ymgf6iect/
- 作者: David Yin
- 发布: 2026-08-14T10:12:06+08:00 · 更新: 2026-09-29
- 时长: 10:02
- 平台: B 站 https://www.bilibili.com/video/BV1ymgF6iECT · YouTube https://www.youtube.com/watch?v=FIvP6AGJE7g
- 标签: 小模型、大模型、知识蒸馏、推理成本、端侧AI
- 摘要: 大模型越做越大，厂商为什么还抢着发小模型？一句话答案：Gartner 测算今年 AI 推理花费 233 亿美元、首次超过训练的 190 亿，电费账逼出了小模型。视频讲清蒸馏和数据精挑怎么让小模型够用、英伟达 Meta 蚂蚁各自图什么，以及小模型和大模型怎么分工。

## 这期讲了什么

- 账变了：Gartner 八月预测今年 AI 花销里跑的钱首次压过造的钱，占五成五，推理 233 亿美元对训练 190 亿
- 小的凭什么够用：蒸馏让小模型追到老师九成的分；光靠挑数据小模型就能考出大模型的分；答题前多想一会儿，有团队在数学竞赛上反超当时的顶级模型
- 三家厂商图什么：英伟达送模型卖机器（自测路由派活开销压到三分之一），Meta 白送铺地盘学当年的安卓，蚂蚁把成本算到极致——每次干活只动用旗舰 8% 的脑力
- 小尺寸的不可替代性：便宜解决的是用一次多少钱，小尺寸解决的是能不能住进你手里——断网可用、不用排队、数据不出门
- 冷静边界：最难的题官方自测也承认还是大的赢，冷门知识小模型装得少；自己动手用开放模型的企业只剩一成出头，但帮人跑开源小模型的公司年收入破了十亿美元

## 文字稿

### 账单变了：推理的花费压过训练

问题翻来覆去问，AI 每次都在收钱。训练一个 AI，是烧一次大钱，可它每回答你一句话，服务器都在单独烧一份电，问的人越多、问得越久，这笔钱越没完。前两天这号里刚说过一句：对绝大多数人，自己在家养个模型，不划算。话没凉透，这星期英伟达、Meta、蚂蚁排着队发模型，发的全是小的，还都白送。都说不划算，它们抢着做小，图什么？

是大的不行了吗？不是。冲大的也没停，外面还传着四万亿参数的大家伙，大的路没人说不走。做小，是因为账本上还有另一半题，得靠小的来答。这十分钟先把这本账翻给你看，再说小的凭什么够用、到底给谁用，最后接住最扎的那一刀，把值不值算到底。

先说账。国际研究机构 Gartner 八月十号发了份行业预测，今年全世界花在 AI 上的钱，大头第一次换了方向：跑的钱压过了造的钱，占到五成五——跑要 233 亿美元，造只要 190 亿，数字写在报告里谁都能翻。以前大家比谁盖的楼高，钱全花在盖楼上；现在 AI 真被用起来了才发现，楼可以不盖，电费天天要交。这变化背后，是 AI 从展品变成了日用品：以前一年用不了几次，现在一天用好几回。这笔账英伟达自己说得最直白：得把不断上涨的使用成本压住。报告还说，到明年这个比例还会往上蹿。怎么压？把活派给更省的小模型——派得准，就用得省。

### 小模型凭什么够用：蒸馏、好数据和多想一会儿

光有账还不够，小的凭什么够用？以前的小模型只会死记硬背，确实不行，现在不一样了。大的当老师，把会的东西浓缩教给小的，这招叫蒸馏，小个子能追到老师九成的分。光有老师还不够，还得读好书——一百本好书胜过一万本闲书，这句话是有实验撑着的：光靠挑数据，小个子就考出了大模型的分。碰上答不出的题就多想一会儿，有团队试过，只加这一样东西，数学竞赛直接反超了当时的顶级模型。用时间换聪明，比堆参数便宜得多，还不用换硬件。装多少跑多少那套省法，前两天刚讲过，今天不重讲。这一套组合下来，日常的活，小的真接得住。

可够用只是前提，真正的问题是谁需要它。个人养模型不划算，账没错，可必要性的主体从来不是买电脑的个人，是那些新用途。小尺寸让 AI 第一次当上了配件：住进手机、电脑、汽车、家电，连手表里都塞了一个。以前 AI 是你要专程去拜访的专家，现在是住在你手里的东西——你手机里那个语音助手，以前问一句要等它上网搬救兵，现在住在手机里，回话快多了。这些新位置大模型一个都挤不进去：塞进手机，手机扛不住；塞进汽车，车机扛不住。它得一直开着电费还不能爆，得跟着你走个头还不能大，话还不能出门得留在设备里。大回答的是 AI 能有多聪明，小回答的是 AI 能不能一直待在你身边，两半合起来才是一整题。

### 英伟达图机器、Meta 图地盘、蚂蚁图成本

三家厂商用三种姿势在答。卖显卡的英伟达把自家小模型免费放出来——模型不要钱，跑它的机器和云要钱。它自己测过，用路由把活派给更小的模型，同样一摊事，开销压到原来的三分之一，这个数是它自测的，不是第三方评的。送模型是饵，卖机器是杆：它官方博客里通篇排的都是自家的显卡和电脑，从你桌上的电脑到公司服务器再到云端机房，全是它的生意。

Meta 图的是一整个地盘。这星期的小模型它直接白送，小的、免费的才铺得进每一台手机——手机里跑着它的格式，开发者就按它的格式写，等大家写顺手了，它家就是默认。当年的安卓就是这么起家的。都是生意，别当成发福利。

最实在的一招在蚂蚁那儿。它把账算到了极致：小模型每次干活，真正动用的脑力只有自家旗舰的 8%，这个数是它官方写在模型卡上的。官方自测，关键榜单打平，有的还反超。这个数字摆出来，小就不是妥协，是另一种最优解。

### 大模型都这么便宜了，小的还有必要吗

三家把各自的算盘打完了，最扎的一刀却不在它们那儿。上一集刚算过一笔账：以前旗舰级的能力，现在几毛钱就能用——DeepSeek 的日常档，输出一百万 token 收 0.28 美元，合人民币两块钱，够它从头到尾给你写一篇长文。大的都这么便宜了，小的还有必要吗？这一刀问的是整个小尺寸赛道还站不站得住。

两个问题看着都跟钱有关，其实不是一回事。便宜解决的是用一次多少钱，小尺寸解决的是它能不能待在你手里。云上再便宜，你叫它它才来：叫它得联网、得排队、得把你的话送出去再收回来，一次叫完它就走了。地铁里没信号、飞机上开飞行模式，手机里那个 AI 照样干活——这就是住你手里的意思。更别说有些话你本来就不想让它出门。你每天问它的多是小事：设闹钟、查天气、改错字，都不值得惊动一趟云端。这一层跟价格没关系，跟它住在哪儿有关系。

当然，小的有自己的天花板。最难的题官方自测也承认还是大的赢，冷门知识小的也装得少；它也不等于人人装得起——有的小模型听着小，真装起来照样要专门的大机器。可这两条都不构成没必要：它服务的本来就不是买显卡的人，是你手机里那个新功能。大的管难题，小的管日常，各就各位。

还有一刀砍在免费上。免费不等于有人真用：企业自己动手用开放模型的比例这几年一路往下掉，现在只剩一成出头，这数不假。可冷清的是自己动手的那一批，热闹的是另一头——美国有家公司不训练任何模型，只帮别人跑开源的小模型，媒体报道它年收入破了十亿美元。这笔钱不靠卖模型赚，靠帮别人跑模型赚。小模型不是没人用，是用法藏得太深，你天天在用，只是没看见它。

### 一个管聪明，一个管陪伴

回到开头那个问号：小尺寸模型到底有没有必要？你手机里那个不用联网就能用的 AI 功能，就是小尺寸模型铺出来的路。它有必要——但别指望它替你干旗舰的活。大的没被否定，小的也没被神化；一个管聪明，一个管陪伴。大的往天上走，小的往人堆里走，两半都在往前走，谁也别想替了谁。

最后问你一句：你手机里有没有哪个 AI 功能，是断网也能用的？评论区告诉我，它帮你干成了什么事。

## 常见问题

### 为什么要做小模型？

因为账变了：Gartner 测算今年全球 AI 花销里推理首次压过训练，占五成五（233 亿对 190 亿美元），模型天天被用，电费天天要交。把日常的小活派给更省的小模型，是厂商压住使用成本的办法；同时小尺寸能让 AI 住进手机、汽车、家电，这些位置大模型挤不进去。

### 小模型和大模型有什么区别？

差别不只是大小。大模型回答的是「AI 能有多聪明」，管最难的题和冷门知识；小模型回答的是「AI 能不能一直待在你身边」，管断网可用、不用排队、数据不出门的日常活。现在靠蒸馏、精挑数据和「多想一会儿」，小模型能追到大模型九成的分，但最难的题官方自测也承认还是大的赢。

### 小模型能替代大模型吗？

不能，是分工关系。小模型接得住日常那摊活——设闹钟、查天气、改错字这类小事不值得惊动云端；但最难的题、最冷门的知识还得大的来。大模型往天上走，小模型往人堆里走，谁也替不了谁。

> 视频不在本站托管，正片见上方平台链接；本页是目录与注解。