多老师蒸馏是什么？MOPD 两分钟讲明白

这期讲了什么

• 蒸馏是什么：本事大的老师傅把经验传给新手，DeepSeek R1 就靠它蒸出六个小模型
• 多老师蒸馏是升级版：修代码、做网页、搞安全的师傅各练各的，最后一起带一个学生
• 关键机制叫在策略蒸馏：学生自己动手做题，老师只纠正这一步对不对、下一步往哪走，不是抄答案
• DeepSeek V4 的做法：每个领域先练一个专家，用十多个老师蒸一个学生，把混合训练整体取代
• 小米的做法相反：能混着练就混着练，只有难判分、步骤极长的活单独练，再用多老师蒸馏并回来；谁对谁错尚无定论

文字稿

什么是蒸馏和多老师蒸馏

小米 MiMo 和 DeepSeek V4，都在用同一招：多老师蒸馏。刷到模型新闻的人，多半见过「蒸馏」俩字，DeepSeek V4 的报告和罗福莉的推文里都写着，但很少有人真讲清楚。好几个老师教一个学生，凭什么不学成四不像？

先说蒸馏。训练大模型跟带徒弟一样：一个本事大的老师傅，把经验传给一个新手。DeepSeek 的 R1 当年就这么干过，蒸出六个小模型。多老师蒸馏是升级版：修代码的师傅、做网页的师傅、搞安全的师傅，各练各的，最后一起带一个学生。

在策略蒸馏：学生自己做题，老师一步步纠正

关键在怎么教。官方管这个叫在策略蒸馏：学生自己动手做题，老师在旁边一步步纠正，不是直接抄答案。老师只告诉你这步对不对、下一步往哪走，答案还是学生自己写出来的。抄答案只能学会结果，自己做题才能学会手艺。

小米和 DeepSeek 的用法不一样

两家用法还不一样。DeepSeek V4 的报告写得明白：每个领域先练一个专家，再用十多个老师蒸一个学生，混合训练那一阶段被它整体取代了。小米反过来：能混着练的就混着练，只有难判分、步骤极长、实在太难的活才单独练，练完再用多老师蒸馏并回来。罗福莉在推文里自己问过，为什么是混着练而不是多老师蒸馏，她的回答是，这两个不是二选一。谁对谁错，现在没定论。

下次再刷到「蒸馏」，先问一句：是谁教谁，学生是自己做题还是抄答案。

常见问题

多老师蒸馏和普通蒸馏的区别是什么？

普通蒸馏是一个老师傅把经验传给一个新手。多老师蒸馏是每个领域先练出一个专家，比如修代码、做网页、搞安全各一个老师，最后一起带一个学生。DeepSeek V4 就用了十多个老师蒸一个学生。

在策略蒸馏是什么意思？

在策略蒸馏就是学生自己动手做题，老师在旁边一步步纠正，只告诉学生这一步对不对、下一步往哪走，而不是让学生直接抄答案。抄答案只能学会结果，自己做题才能学会手艺。

小米和 DeepSeek 的多老师蒸馏一样吗？

不一样。DeepSeek V4 用十多个专家老师蒸一个学生，把混合训练整体取代了；小米是能混着练的先混着练，只对难判分、步骤极长的任务单独练再蒸回来。罗福莉说这两个不是二选一，谁对谁错现在没定论。