Scaling Law 是什么?规模定律到头了吗
Scaling Law(规模定律)是什么?就是投入的数据、算力、参数越多,模型越强,俗称大力出奇迹。这期用盖楼比喻讲透三方争论:Ilya 说数据见顶、预训练将终结;Dario 说算力还不够,合成数据加强化学习能绕过去;DeepSeek R1 用五百万美元级成本和开源证明不必砸最多钱也能上牌桌。
这期讲了什么
- Scaling Law(规模定律)一句话:数据、算力、参数投得越多,模型越强,而且强得有规律能预测——俗称大力出奇迹,过去五六年的进步几乎全靠它
- 「盖到头」派:Ilya Sutskever 2024 年底说「我们所知道的预训练会终结」,数据是 AI 的化石燃料,已经到达顶峰;2025 年底他进一步说算力为王的时代正在结束,接下来是做研究的时代
- 「继续盖」派:Anthropic 的 Dario 认为不是 Scaling 失效而是算力不够,数据见顶可以用合成数据加强化学习绕过去;最硬的证据是 Stargate 计划——到 2029 年往 AI 基建砸最多 5000 亿美元(但进展不如预期,更多是赌注而非现实)
- 第三条路是推理时计算:让模型答题时多想几步而不是秒回,OpenAI 的 o1、o3 开了头,DeepSeek R1 用强化学习逼出思考能力并直接开源,V3 官方称训练只花约 560 万美元,消息一出英伟达一天蒸发约 6000 亿美元市值
- 三家对号入座:OpenAI 焦虑地两头下注,Anthropic 走出混合推理新路(Claude 3.7 一个脑子配快慢两挡),DeepSeek 靠 MoE 架构加开源憋着野望——这场博弈决定未来两年算力和 AI 会员是更贵还是更便宜
文字稿
Scaling Law 是什么:大力出奇迹
2024 年,AI 行业有一个几乎所有人都信的共识——算力越大,模型越强。你只要不停地砸钱、砸芯片、砸数据,模型就会越来越聪明,好像没有上限。可到了 2026 年,这个共识吵成了三派。有人说这条路已经走到头了,有人说不是走到头是你算力还不够多,还有人说,我们一开始方向可能就搞错了。
先说清楚到底什么是 Scaling Law。Scaling 的意思就是按比例把规模放大,小作坊扩成大工厂,一家小店开成全国连锁。Scaling Law 翻译过来叫规模定律,是 AI 圈摸出来的一条规律:你投入的数据、算力、参数越多,模型的能力就越强,而且强得有规律、能预测。翻译成大白话就四个字——大力出奇迹。
你可以把它想象成盖楼。算力、数据、参数就是盖楼的钢筋水泥,参数你就理解成模型脑子里那些可调的旋钮,旋钮越多,它能绕的弯弯绕绕就越多。Scaling Law 说的是,只要你不停往上加钢筋水泥,这栋楼就能盖得越来越高。过去五六年,AI 的进步几乎全靠这一个逻辑,从 GPT-3 到 GPT-4 本质上都在干这件事。简单粗暴,但真的有效。可问题来了——这栋楼能一直盖下去吗?
Ilya:数据是化石燃料,预训练会终结
「盖到头了」这一派最有分量的声音,是 Ilya Sutskever。这个名字你可能有点陌生,但他是 OpenAI 的联合创始人、前首席科学家,是 ChatGPT 背后最核心的大脑之一。2024 年 5 月他离开 OpenAI 自己创业,2024 年 12 月在一场顶级 AI 学术会议上说了一句让全行业震动的话:我们所知道的那种预训练,毫无疑问会终结。
预训练是啥?说白了,就是让 AI 提前把全世界的书和网页都读一遍,相当于上学打基础。Ilya 的意思是这套打基础的老办法要到头了。为啥?他说数据就是 AI 的化石燃料——石油是有限的,烧一点少一点,互联网上人类写下的所有内容加起来也是有限的。他原话说得很狠:我们已经达到了数据的顶峰,不会再有更多了,因为我们只有一个互联网。翻译成盖楼就是:水泥快用完了,这才是真正的天花板。到 2025 年底,Ilya 在一次访谈里把话说得更直白:算力为王的时代正在结束,接下来是做研究的时代。
Dario 和 Stargate:算力还不够,继续盖
反方最响亮的代表,是 Anthropic 的 CEO Dario Amodei。Anthropic 就是做出 Claude 的那家公司。Dario 的观点特别鲜明:不是 Scaling 失效了,是你现在的算力根本还不够。数据见顶怎么办?他的回答是可以绕过去——用合成数据,让 AI 自己造练习题,人类写的书读完了就让它自己出题自己练;再配上强化学习,做对了给奖励做错了不给,它就慢慢学会了。他在很多公开访谈里反复强调:到目前为止,他没看到 Scaling 真的盖不上去。换成盖楼就是——你才盖了 30 层就在那喊盖不上去了,抬头看看那些 100 层的摩天大楼。
这一派最硬的证据叫 Stargate,星际之门。2025 年 1 月,OpenAI 联手软银、甲骨文这些巨头,宣布准备在 2029 年之前往 AI 基础设施里砸最多 5000 亿美元。这笔钱的逻辑只有一个——他们赌这栋楼还能接着往上盖,需要多出好几个数量级的算力。不过得给你提个醒:到 2025 年下半年,已经有媒体报道这个项目推进得没那么顺,钱也没那么快到位。所以这 5000 亿更多是一个野心、一个赌注,而不是已经砸下去的现实。
第三条路:推理时计算和 DeepSeek R1
前面两派吵的都是训练这个环节,也就是盖楼的时候。第三条路换了个思路——盖楼的时候先不较劲,让楼盖好之后每一层楼自己会思考。推理时计算说白了就是让 AI 答题的时候多花点时间打草稿、多想几步再回答。以前的 AI 你一问它就回,靠的是条件反射;新一代模型你扔给它一个难题,它会先停一下,在心里推理几步再给你答案。
这个突破最早被大家看见,是 OpenAI 在 2024 年 9 月推出的 o1 模型,后来又有了 o3。而真正把这件事捅到全世界面前的,是一家中国公司——DeepSeek。2025 年 1 月,DeepSeek 发布了推理模型 R1,用强化学习的办法硬生生把模型的思考能力逼了出来,而且直接开源,把配方和代码白送出去。更让人坐不住的是成本:它之前那个基座模型 V3,官方说训练只花了大概 560 万美元,跟动辄上亿美元的训练成本一比是降维打击。消息一出,英伟达的股价当天就暴跌,一天蒸发的市值高达约 6000 亿美元,创下美股单家公司单日跌幅的历史纪录。盖楼的比喻到这又变了——DeepSeek 不想盖最高的那栋楼,它要证明的是:我用十分之一的料也能盖出差不多高的楼。
三家公司对号入座:焦虑、新路、野望
先说 OpenAI,关键词是焦虑。它两头都在下注:一边砸 5000 亿建 Stargate 赌楼还能接着盖,另一边最早把 o1、o3 这种推理模型推出来赌第三条路。为啥全压?因为它输不起——这就是焦虑的本质。
再说 Anthropic,关键词是新路。Dario 嘴上信 Scaling 还能走,但 Anthropic 的打法很不一样。2025 年 2 月它发布的 Claude 3.7 被称作市面上第一个混合推理模型——一个脑子配了两个挡,既能快答也能慢想,由你来定。别人单独做一个会推理的模型,它偏把快和慢焊进同一个大脑。
最后是 DeepSeek,关键词是野望。它走更聪明的架构加更省的算力再加开源。更聪明的架构说的是 MoE——不让一个全才硬扛所有问题,而是养一群专科专家,来什么问题就派对应的专家上。它要证明的事很简单但很有冲击力:上牌桌不一定非得是那个花钱最多的人。这一下就把算力霸权这个说法撕开了一道口子。
所以你看,这压根不是一道盖没盖到头的是非题,是三群人正在往三个完全不同的方向使劲。这事跟你有啥关系?关系大了——这三条路谁赢,直接决定未来两年 AI 算力会不会继续疯涨,你买的显卡、付的 AI 会员费是更贵还是更便宜。下次再刷到「Scaling Law 盖到头了」这种标题,先别急着被它带跑。真正的故事,是三群最聪明的人押上了完全不同的赌注,走向了三个方向。谁对谁错,答案不会写在论文里,它会在两年后的市场上自己揭晓。
常见问题
Scaling Law 是什么意思?
Scaling Law 翻译过来叫规模定律,是 AI 圈摸出来的规律:投入的数据、算力、参数越多,模型能力越强,而且强得有规律、能预测。俗称大力出奇迹——从 GPT-3 到 GPT-4,过去五六年的进步几乎全靠这一个逻辑。
Scaling Law 失效了吗?
没有定论,是三方博弈。Ilya Sutskever 认为数据是化石燃料、已经见顶,预训练时代会终结;Anthropic 的 Dario 认为不是失效而是算力不够,可以用合成数据加强化学习绕过数据限制;第三条路是推理时计算,让模型答题时多想几步,OpenAI 的 o1/o3 和 DeepSeek R1 都走这条路。
DeepSeek R1 为什么让英伟达股价暴跌?
2025 年 1 月 DeepSeek 发布推理模型 R1,用强化学习逼出思考能力并直接开源;它的基座模型 V3 官方称训练只花约 560 万美元,远低于动辄上亿美元的常规成本。这动摇了「必须砸最多钱买算力」的逻辑,英伟达一天蒸发约 6000 亿美元市值,创美股单日跌幅纪录。