# Scaling Law 是什么？规模定律到头了吗 - URL: https://davidyin.dev/video/bv17qty6ke19/ - 作者: David Yin - 发布: 2026-07-01T13:34:57+08:00 · 更新: 2026-09-25 - 时长: 09:25 - 平台: B 站 https://www.bilibili.com/video/BV17qTY6kE19 - 标签: Scaling Law、规模定律、OpenAI、Anthropic、DeepSeek - 摘要: Scaling Law（规模定律）是什么？就是投入的数据、算力、参数越多，模型越强，俗称大力出奇迹。这期用盖楼比喻讲透三方争论：Ilya 说数据见顶、预训练将终结；Dario 说算力还不够，合成数据加强化学习能绕过去；DeepSeek R1 用五百万美元级成本和开源证明不必砸最多钱也能上牌桌。 ## 这期讲了什么 - Scaling Law（规模定律）一句话：数据、算力、参数投得越多，模型越强，而且强得有规律能预测——俗称大力出奇迹，过去五六年的进步几乎全靠它 - 「盖到头」派：Ilya Sutskever 2024 年底说「我们所知道的预训练会终结」，数据是 AI 的化石燃料，已经到达顶峰；2025 年底他进一步说算力为王的时代正在结束，接下来是做研究的时代 - 「继续盖」派：Anthropic 的 Dario 认为不是 Scaling 失效而是算力不够，数据见顶可以用合成数据加强化学习绕过去；最硬的证据是 Stargate 计划——到 2029 年往 AI 基建砸最多 5000 亿美元（但进展不如预期，更多是赌注而非现实） - 第三条路是推理时计算：让模型答题时多想几步而不是秒回，OpenAI 的 o1、o3 开了头，DeepSeek R1 用强化学习逼出思考能力并直接开源，V3 官方称训练只花约 560 万美元，消息一出英伟达一天蒸发约 6000 亿美元市值 - 三家对号入座：OpenAI 焦虑地两头下注，Anthropic 走出混合推理新路（Claude 3.7 一个脑子配快慢两挡），DeepSeek 靠 MoE 架构加开源憋着野望——这场博弈决定未来两年算力和 AI 会员是更贵还是更便宜 ## 文字稿 ### Scaling Law 是什么：大力出奇迹 2024 年，AI 行业有一个几乎所有人都信的共识——算力越大，模型越强。你只要不停地砸钱、砸芯片、砸数据，模型就会越来越聪明，好像没有上限。可到了 2026 年，这个共识吵成了三派。有人说这条路已经走到头了，有人说不是走到头是你算力还不够多，还有人说，我们一开始方向可能就搞错了。 先说清楚到底什么是 Scaling Law。Scaling 的意思就是按比例把规模放大，小作坊扩成大工厂，一家小店开成全国连锁。Scaling Law 翻译过来叫规模定律，是 AI 圈摸出来的一条规律：你投入的数据、算力、参数越多，模型的能力就越强，而且强得有规律、能预测。翻译成大白话就四个字——大力出奇迹。 你可以把它想象成盖楼。算力、数据、参数就是盖楼的钢筋水泥，参数你就理解成模型脑子里那些可调的旋钮，旋钮越多，它能绕的弯弯绕绕就越多。Scaling Law 说的是，只要你不停往上加钢筋水泥，这栋楼就能盖得越来越高。过去五六年，AI 的进步几乎全靠这一个逻辑，从 GPT-3 到 GPT-4 本质上都在干这件事。简单粗暴，但真的有效。可问题来了——这栋楼能一直盖下去吗？ ### Ilya：数据是化石燃料，预训练会终结 「盖到头了」这一派最有分量的声音，是 Ilya Sutskever。这个名字你可能有点陌生，但他是 OpenAI 的联合创始人、前首席科学家，是 ChatGPT 背后最核心的大脑之一。2024 年 5 月他离开 OpenAI 自己创业，2024 年 12 月在一场顶级 AI 学术会议上说了一句让全行业震动的话：我们所知道的那种预训练，毫无疑问会终结。 预训练是啥？说白了，就是让 AI 提前把全世界的书和网页都读一遍，相当于上学打基础。Ilya 的意思是这套打基础的老办法要到头了。为啥？他说数据就是 AI 的化石燃料——石油是有限的，烧一点少一点，互联网上人类写下的所有内容加起来也是有限的。他原话说得很狠：我们已经达到了数据的顶峰，不会再有更多了，因为我们只有一个互联网。翻译成盖楼就是：水泥快用完了，这才是真正的天花板。到 2025 年底，Ilya 在一次访谈里把话说得更直白：算力为王的时代正在结束，接下来是做研究的时代。 ### Dario 和 Stargate：算力还不够，继续盖 反方最响亮的代表，是 Anthropic 的 CEO Dario Amodei。Anthropic 就是做出 Claude 的那家公司。Dario 的观点特别鲜明：不是 Scaling 失效了，是你现在的算力根本还不够。数据见顶怎么办？他的回答是可以绕过去——用合成数据，让 AI 自己造练习题，人类写的书读完了就让它自己出题自己练；再配上强化学习，做对了给奖励做错了不给，它就慢慢学会了。他在很多公开访谈里反复强调：到目前为止，他没看到 Scaling 真的盖不上去。换成盖楼就是——你才盖了 30 层就在那喊盖不上去了，抬头看看那些 100 层的摩天大楼。 这一派最硬的证据叫 Stargate，星际之门。2025 年 1 月，OpenAI 联手软银、甲骨文这些巨头，宣布准备在 2029 年之前往 AI 基础设施里砸最多 5000 亿美元。这笔钱的逻辑只有一个——他们赌这栋楼还能接着往上盖，需要多出好几个数量级的算力。不过得给你提个醒：到 2025 年下半年，已经有媒体报道这个项目推进得没那么顺，钱也没那么快到位。所以这 5000 亿更多是一个野心、一个赌注，而不是已经砸下去的现实。 ### 第三条路：推理时计算和 DeepSeek R1 前面两派吵的都是训练这个环节，也就是盖楼的时候。第三条路换了个思路——盖楼的时候先不较劲，让楼盖好之后每一层楼自己会思考。推理时计算说白了就是让 AI 答题的时候多花点时间打草稿、多想几步再回答。以前的 AI 你一问它就回，靠的是条件反射；新一代模型你扔给它一个难题，它会先停一下，在心里推理几步再给你答案。 这个突破最早被大家看见，是 OpenAI 在 2024 年 9 月推出的 o1 模型，后来又有了 o3。而真正把这件事捅到全世界面前的，是一家中国公司——DeepSeek。2025 年 1 月，DeepSeek 发布了推理模型 R1，用强化学习的办法硬生生把模型的思考能力逼了出来，而且直接开源，把配方和代码白送出去。更让人坐不住的是成本：它之前那个基座模型 V3，官方说训练只花了大概 560 万美元，跟动辄上亿美元的训练成本一比是降维打击。消息一出，英伟达的股价当天就暴跌，一天蒸发的市值高达约 6000 亿美元，创下美股单家公司单日跌幅的历史纪录。盖楼的比喻到这又变了——DeepSeek 不想盖最高的那栋楼，它要证明的是：我用十分之一的料也能盖出差不多高的楼。 ### 三家公司对号入座：焦虑、新路、野望 先说 OpenAI，关键词是焦虑。它两头都在下注：一边砸 5000 亿建 Stargate 赌楼还能接着盖，另一边最早把 o1、o3 这种推理模型推出来赌第三条路。为啥全压？因为它输不起——这就是焦虑的本质。 再说 Anthropic，关键词是新路。Dario 嘴上信 Scaling 还能走，但 Anthropic 的打法很不一样。2025 年 2 月它发布的 Claude 3.7 被称作市面上第一个混合推理模型——一个脑子配了两个挡，既能快答也能慢想，由你来定。别人单独做一个会推理的模型，它偏把快和慢焊进同一个大脑。 最后是 DeepSeek，关键词是野望。它走更聪明的架构加更省的算力再加开源。更聪明的架构说的是 MoE——不让一个全才硬扛所有问题，而是养一群专科专家，来什么问题就派对应的专家上。它要证明的事很简单但很有冲击力：上牌桌不一定非得是那个花钱最多的人。这一下就把算力霸权这个说法撕开了一道口子。 所以你看，这压根不是一道盖没盖到头的是非题，是三群人正在往三个完全不同的方向使劲。这事跟你有啥关系？关系大了——这三条路谁赢，直接决定未来两年 AI 算力会不会继续疯涨，你买的显卡、付的 AI 会员费是更贵还是更便宜。下次再刷到「Scaling Law 盖到头了」这种标题，先别急着被它带跑。真正的故事，是三群最聪明的人押上了完全不同的赌注，走向了三个方向。谁对谁错，答案不会写在论文里，它会在两年后的市场上自己揭晓。 ## 常见问题 ### Scaling Law 是什么意思？ Scaling Law 翻译过来叫规模定律，是 AI 圈摸出来的规律：投入的数据、算力、参数越多，模型能力越强，而且强得有规律、能预测。俗称大力出奇迹——从 GPT-3 到 GPT-4，过去五六年的进步几乎全靠这一个逻辑。 ### Scaling Law 失效了吗？ 没有定论，是三方博弈。Ilya Sutskever 认为数据是化石燃料、已经见顶，预训练时代会终结；Anthropic 的 Dario 认为不是失效而是算力不够，可以用合成数据加强化学习绕过数据限制；第三条路是推理时计算，让模型答题时多想几步，OpenAI 的 o1/o3 和 DeepSeek R1 都走这条路。 ### DeepSeek R1 为什么让英伟达股价暴跌？ 2025 年 1 月 DeepSeek 发布推理模型 R1，用强化学习逼出思考能力并直接开源；它的基座模型 V3 官方称训练只花约 560 万美元，远低于动辄上亿美元的常规成本。这动摇了「必须砸最多钱买算力」的逻辑，英伟达一天蒸发约 6000 亿美元市值，创美股单日跌幅纪录。 > 视频不在本站托管，正片见上方平台链接；本页是目录与注解。