小米 MiMo-V2.6 和 DeepSeek 强化学习路线区别

这期讲了什么

• 罗福莉发长文称 MiMo-V2.6 训练比 DeepSeek R1 还难；同日海外第三方榜单把它排到开源第一、全榜第六（前五全是闭源）
• 强化学习（RL）：预训练像科目一背题库，RL 像上路练车、教练打分——让 AI 在仿真环境真动手，写代码、跑工具、操作网页，按结果好坏学；中期训练是上路前的针对性补课
• 训练规模：每步处理约 20 亿 token，1568 道题各做 16 遍（每遍叫一个 rollout），全程异步先做完先交卷；判卷有测试用例判对错、评分细则打分、同组答卷互比
• MixRL（You Only RL Once）：代码、网安、网页、办公等机器能判对错的中等难度活混进一次训练；难判分、步骤极长、实在太难的单独练，再用 MOPD 多老师蒸馏并回
• 相反的路：DeepSeek V4 每领域先练一个专家、十多个老师蒸一个学生，报告写明用蒸馏整体取代混合强化学习；谁对谁错无定论——阿里 Qwen3 分四段蒸馏省九成机器时间，Kimi K2 让模型自己打分，小米是同组答卷互比
• 成绩与环境：约 7000 个仿真练习环境（训练框架代码可下载、环境数据暂没找到）；网安测试近零分涨到 80.2、终端操作 1.5 涨到 34.9；送开源社区一个 Qwen3.5-9B 底座的蒸馏模型，自练后 SWE-bench Verified 61.1 涨到 66.2

文字稿

强化学习、中期训练和 rollout 是什么

小米 MiMo 负责人罗福莉说，这次练模型比 DeepSeek R1 还难。她在 X 上发了篇长文，标题直译过来是「通往扩展强化学习的艰难之路」。长文里全是怪词：中期训练、rollout、多老师蒸馏；也是同一天，海外一家第三方榜单把小米这个新模型排到了开源模型里的第一。这集讲三件事：强化学习在练什么，那几个怪词什么意思，小米和 DeepSeek 为什么给了两个答案。

先讲最基础的，强化学习，英文缩写 RL。你考过驾照就懂这个差别：科目一背题库、把书读遍，那叫预训练；真上路练车、教练在边上打分，那才像强化学习。AI 也一样，先读遍全网的书，再进练习场真做题，做对了给奖励、做错了扣分，慢慢摸出门道。注意，这儿说的做题是让 AI 在仿真环境里真动手——写代码、跑工具、操作网页，按结果好坏学，跟刷选择题两码事。中期训练又是什么？就是读完书、上路之前再加一段针对性补课。罗福莉的原话翻过来是：这个模型的潜力，靠中期训练攒出来；本事，靠高强度的强化学习逼出来。

这次练得有多大？她在前一周另一条推文里给了数字：团队沉默近半年，就研究一个问题，强化学习能扩到多大。训练每走一步处理约 20 亿 token——token 你先粗略理解成字；1568 道题，每道让 AI 做 16 遍，每一遍有个专门名字叫 rollout；全程异步，不等最慢那道题，谁先做完谁先交卷。判卷也堆算力：不光有测试用例判对错，还有按评分细则打分的，还会把同一组答卷放在一起比，找出到底是哪一步做对了。

她在长文里写，这不只需要研究信念，还需要对 AGI——通用人工智能——的愿景、对未知的敬畏和直面最难问题的勇气，几十个人的团队长期就干这一件事。之前那场挂在公网上的训练直播，播的就是这次训练的过程，最后账单停在三百多万美元。

环境、MixRL 和多老师蒸馏

练题得有题，这就说到第二个词，环境。环境是 AI 真动手的练习场，一个个仿真场景：修代码的约三千个、网安漏洞复现的约一千个、知识型办公的约一千个、做网页的约两千个，加起来约七千个。得诚实说一句：官方说把这些环境放出来了，训练框架的代码确实能下载，可环境数据本体，暂时没找到下载的地方。

现在揭第一个怪词。罗福莉推文里管这个叫 MixRL，官方报告里的正式叫法是 You Only RL Once，只练一次。意思是写代码、网络安全、做网页、办公这几类活，难度中等、对错机器能直接判，小米就把它们放进同一次训练、同一批题里一起练。官方说法是能力互相强化，练出来的策略还能迁移到没见过的场景；罗福莉自己的评价是，这样练出来的模型泛化得相当好——泛化好，意思是没练过的活也会做。

但不是所有活都能这么练。推文里点名三类：难判分的、步骤极长的、实在太难的，比如打游戏、做三维场景、需要人主观打分的活——放进大部队一起练会拖慢整批进度。还有个更技术的原因叫经验过期：训练是一边练一边更新模型的，旧版本做的题拿来教新版本，经验已经过时了，就像拿上周的攻略打这周改版后的游戏。所以这些活得单独开小灶。

单独练出的本事还得并回主模型，靠第三个怪词 MOPD，多老师蒸馏。蒸馏就是老师带学生：每个领域单独练出一个老师，再让老师们把本事教给一个学生。官方管这个叫在策略蒸馏——学生自己动手做题，老师在旁边一步步纠正，不是直接抄答案。

小米和 DeepSeek：两条相反的路

最大的反差来了。先说明白，R1 是 DeepSeek 去年初的上一代，现在的做法要看 V4，别搞混。今年四月 DeepSeek 发的 V4 预览版报告里写着另一条路：数学、编程、智能体、指令遵循，每个领域先单独练一个专家，再用十多个老师蒸一个学生。报告原话是，混合强化学习阶段被在策略蒸馏整体取代了，理由是能避开混合强化学习常见的性能下降。同一个问题，好几种本事是一块练还是分开练，DeepSeek 选了分开，小米选了能混就混。

更有意思的是罗福莉这个人。她来小米之前就在 DeepSeek，R1 论文作者名单里有她的名字。她在推文里自己设问，为什么是 MixRL 而不是 MOPD，给了三个答案：前两个是技术上的，第三个说得有点俏皮——团队足够扁平、没有部门墙，混着练对小米来说不难。两条路谁对？现在没有定论，两家各有各的道理，这才是这事最好看的地方。

把别家也摆上桌，就知道小米的位置有多特别。DeepSeek 的 R1 主攻数学和代码竞赛，奖励基本只判对错；阿里的 Qwen3 后训练分四段，小模型靠大模型带，官方说这样蒸馏比从头练省九成机器时间；月之暗面的 Kimi K2 大量造工具调用的练习，还让模型自己给自己的答案打分。看出来没，奖励这件事，从只判对错一路走到判好坏。小米这次的做法是：同一道题的好几份答卷放一起比，谁又对又短，奖励就往谁那边偏——注意这跟 Kimi 的自己打分不一样，小米是同一组答卷互相比。

路线不同，盯的活也不同。小米这代盯的是干活型 AI：修代码、终端操作、网络安全、做网页、办公自动化。数字最能说明问题，跟小米上一代比：自家的网安测试从接近零分涨到 80.2，终端操作测试从 1.5 涨到 34.9。对照一下，R1 当年盯的是数学竞赛，DeepSeek V4 做的是通用旗舰，主打一次能读进一百万 token 的超长内容。

长文最后有句话传得最广：在智能容易被复制的时代，我们仍选择难走的那条路。先看一个事实，蒸馏现在是各家的标准工序——R1 当年蒸出六个小模型，DeepSeek V4 用十多个老师蒸一个学生，小米自己也放了个 9B 的蒸馏模型。我的理解是，蒸馏能把现成本事复制过去，她想强调的是靠强化学习练出新本事。评论区有人读成暗讽别家只会抄——她没这么说，那是网友的解读，不能算到她头上。

说到那个 9B 模型，这是小米送给开源社区的东西：从 MiMo 的练习记录里蒸出来的，底座是阿里的 Qwen3.5-9B，可以当别人练强化学习的起点。官方数据，这个模型自己再练一轮之后，软件工程那张叫 SWE-bench Verified 的卷子从 61.1 涨到 66.2。一起放出来的还有训练框架的代码，三个仓库都能下载。

最后说对你有什么用。光看分数，看不出一个模型擅长干哪种活。下次刷到模型新闻先看一句：这个模型练的是什么活？练数学竞赛的和练修代码的是两种东西。你的活要是写代码、跑工具、让 AI 真动手干活，小米这个值得放进候选试一试；要是聊天写作查资料，榜单上好几个都够用。真要挑，就把手头那件活丢给几个候选模型，谁干得顺手用谁。挑模型跟招人一样，先看岗位，再看简历。

常见问题

小米 MiMo 和 DeepSeek 训练方法有什么区别？

小米用 MixRL（You Only RL Once）：把代码、网安、网页、办公等机器能判对错的中等难度任务混进同一次训练，只有难判分、步骤极长、太难的单独练，再用多老师蒸馏并回。DeepSeek V4 相反：每个领域先单独练一个专家，再用十多个老师蒸一个学生，官方称这样能避开混合训练的性能下降。目前谁对谁错没有定论。

MixRL 是什么意思？

MixRL 是罗福莉推文里的叫法，官方报告写作 You Only RL Once（只练一次）：把难度中等、对错能自动判分的不同类任务放进同一批题一起练，让能力互相强化、策略能迁移到没见过的场景。难判分、步骤极长或太难的活不放进去，避免拖慢进度和经验过期。

强化学习里的 rollout 是什么？

rollout 是让 AI 在仿真环境里把一道题完整做一遍。MiMo-V2.6 的训练里，1568 道题每道做 16 遍就是 16 个 rollout，全程异步谁先做完谁先交卷，每步训练处理约 20 亿 token。判卷不光看测试用例对错，还按评分细则打分、同组答卷互比找关键步骤。