中期训练是什么？预训练和强化学习的区别

这期讲了什么

• 一句话定义：中期训练是读完书（预训练）、上路（强化学习）之前的针对性补课
• 三个阶段分工：预训练负责什么都懂一点，中期训练攒潜力，强化学习逼出本事
• 小米 MiMo 报告里补的内容：真实干活轨迹、长上下文（从 25 万 token 拉到 100 万）、新优化器让大批量训练更稳
• 最有意思的一条：把模型钻奖励空子的作弊案例做成教材，先在中期训练里教一遍
• 为什么必须补：中期训练把探索空间撑大，后面强化学习才试得出更好的解题路径

文字稿

预训练、中期训练、强化学习有什么区别

罗福莉的长文里有个词：中期训练。小米 MiMo 的负责人说，这个模型的潜力，靠它攒出来。

练 AI 跟学车一样。读遍全网的书是科目一背题库，叫预训练；真上路做题、教练打分，是强化学习。可中间还藏着一步。读完书、上路前，为什么非得再加一段？

先对一下号。预训练，就是 AI 把书读遍，什么都知道一点，但没真干过活。强化学习，就是真上路，做对了给奖励，做错了扣分。

中期训练到底补什么

答案就一句话：中期训练，是读完书、上路之前的针对性补课。罗福莉的原话翻过来是，潜力靠中期训练攒出来，本事靠高强度的强化学习逼出来。一个是攒，一个是逼，两步干的不是一件事。

补什么？小米的技术报告里写得挺实在。补真实干活的轨迹，写代码的、看图的、查资料的，让模型先见一遍真活长什么样；补长上下文，先练二十五万多 token，最后一段拉到一百万，相当于从绕桩直接加到长途；连学习方法都换，报告里说换了个新优化器，就为了让后面的大批量训练更稳。

还有一条最有意思。报告里写，早期实验发现这个模型会钻奖励的空子，就把这些作弊案例做成教材，塞进中期训练先教一遍。相当于上路前，教练先把学员爱耍的小聪明挨个拆给你看。

为什么必须先补课

报告的说法是，中期训练把探索空间撑大，后面强化学习的时候，模型才试得出更好的解题路径。用学车的话说，没补过课直接上路，教练打分打得再狠，你也只会那几招。

下次刷到「预训练」「中期训练」「后训练」，别晕，就问一句：这一步在补哪门课。

常见问题

中期训练和预训练有什么区别？

预训练是让 AI 把书读遍，什么都知道一点但没真干过活；中期训练是读完书、上路之前的针对性补课，补真实干活轨迹和长上下文，替后面的强化学习攒潜力、撑大探索空间。

中期训练和强化学习有什么区别？

强化学习是真上路做题、做对了给奖励做错了扣分；中期训练是上路之前的补课，把探索空间先撑大。用罗福莉的说法，潜力靠中期训练攒出来，本事靠高强度的强化学习逼出来，两步干的不是一件事。

小米 MiMo 的中期训练具体做了什么？

小米技术报告里写了三件事：补真实干活轨迹让模型先见真活；长上下文从 25 万多 token 拉到 100 万；换新优化器让大批量训练更稳。还把模型早期钻奖励空子的作弊案例做成教材，先教一遍。