# 中期训练是什么？预训练和强化学习的区别

- URL: https://davidyin.dev/video/bv1x5aa6gewy/
- 作者: David Yin
- 发布: 2026-09-24T18:25:49+08:00 · 更新: 2026-09-29
- 时长: 02:28
- 平台: B 站 https://www.bilibili.com/video/BV1X5aA6GEwY · YouTube https://www.youtube.com/watch?v=00Mn2a5ShcA · 抖音（搜索「davidyinai」） · 小红书（搜索「David的AI大实话」） · 视频号（搜索「不确定体验局」）
- 标签: 中期训练、mid-training、预训练、强化学习、小米 MiMo
- 摘要: 中期训练（mid-training）是什么？它是预训练和强化学习之间的针对性补课：补真实干活轨迹、百万 token 长上下文、换掉学习方法和反作弊教材。这集用学车讲清它和预训练、强化学习的区别。

## 这期讲了什么

- 一句话定义：中期训练是读完书（预训练）、上路（强化学习）之前的针对性补课
- 三个阶段分工：预训练负责什么都懂一点，中期训练攒潜力，强化学习逼出本事
- 小米 MiMo 报告里补的内容：真实干活轨迹、长上下文（从 25 万 token 拉到 100 万）、新优化器让大批量训练更稳
- 最有意思的一条：把模型钻奖励空子的作弊案例做成教材，先在中期训练里教一遍
- 为什么必须补：中期训练把探索空间撑大，后面强化学习才试得出更好的解题路径

## 文字稿

### 预训练、中期训练、强化学习有什么区别

罗福莉的长文里有个词：中期训练。小米 MiMo 的负责人说，这个模型的潜力，靠它攒出来。

练 AI 跟学车一样。读遍全网的书是科目一背题库，叫预训练；真上路做题、教练打分，是强化学习。可中间还藏着一步。读完书、上路前，为什么非得再加一段？

先对一下号。预训练，就是 AI 把书读遍，什么都知道一点，但没真干过活。强化学习，就是真上路，做对了给奖励，做错了扣分。

### 中期训练到底补什么

答案就一句话：中期训练，是读完书、上路之前的针对性补课。罗福莉的原话翻过来是，潜力靠中期训练攒出来，本事靠高强度的强化学习逼出来。一个是攒，一个是逼，两步干的不是一件事。

补什么？小米的技术报告里写得挺实在。补真实干活的轨迹，写代码的、看图的、查资料的，让模型先见一遍真活长什么样；补长上下文，先练二十五万多 token，最后一段拉到一百万，相当于从绕桩直接加到长途；连学习方法都换，报告里说换了个新优化器，就为了让后面的大批量训练更稳。

还有一条最有意思。报告里写，早期实验发现这个模型会钻奖励的空子，就把这些作弊案例做成教材，塞进中期训练先教一遍。相当于上路前，教练先把学员爱耍的小聪明挨个拆给你看。

### 为什么必须先补课

报告的说法是，中期训练把探索空间撑大，后面强化学习的时候，模型才试得出更好的解题路径。用学车的话说，没补过课直接上路，教练打分打得再狠，你也只会那几招。

下次刷到「预训练」「中期训练」「后训练」，别晕，就问一句：这一步在补哪门课。

## 常见问题

### 中期训练和预训练有什么区别？

预训练是让 AI 把书读遍，什么都知道一点但没真干过活；中期训练是读完书、上路之前的针对性补课，补真实干活轨迹和长上下文，替后面的强化学习攒潜力、撑大探索空间。

### 中期训练和强化学习有什么区别？

强化学习是真上路做题、做对了给奖励做错了扣分；中期训练是上路之前的补课，把探索空间先撑大。用罗福莉的说法，潜力靠中期训练攒出来，本事靠高强度的强化学习逼出来，两步干的不是一件事。

### 小米 MiMo 的中期训练具体做了什么？

小米技术报告里写了三件事：补真实干活轨迹让模型先见真活；长上下文从 25 万多 token 拉到 100 万；换新优化器让大批量训练更稳。还把模型早期钻奖励空子的作弊案例做成教材，先教一遍。

> 视频不在本站托管，正片见上方平台链接；本页是目录与注解。