# 多老师蒸馏是什么？MOPD 两分钟讲明白

- URL: https://davidyin.dev/video/bv1eiac6jefq/
- 作者: David Yin
- 发布: 2026-09-24T13:51:23+08:00 · 更新: 2026-09-29
- 时长: 02:05
- 平台: B 站 https://www.bilibili.com/video/BV1Eiac6JEfq · YouTube https://www.youtube.com/watch?v=oXtPXxcf1UU · 抖音（搜索「davidyinai」） · 小红书（搜索「David的AI大实话」） · 视频号（搜索「不确定体验局」）
- 标签: 多老师蒸馏、MOPD、知识蒸馏、DeepSeek V4、小米 MiMo
- 摘要: 多老师蒸馏（MOPD）是什么？就是每个领域先练出一个专家老师，再让好几个老师带一个学生，学生自己动手做题、老师一步步纠正，而不是抄答案。这集讲清它和普通蒸馏的区别，以及小米 MiMo 和 DeepSeek V4 的不同用法。

## 这期讲了什么

- 蒸馏是什么：本事大的老师傅把经验传给新手，DeepSeek R1 就靠它蒸出六个小模型
- 多老师蒸馏是升级版：修代码、做网页、搞安全的师傅各练各的，最后一起带一个学生
- 关键机制叫在策略蒸馏：学生自己动手做题，老师只纠正这一步对不对、下一步往哪走，不是抄答案
- DeepSeek V4 的做法：每个领域先练一个专家，用十多个老师蒸一个学生，把混合训练整体取代
- 小米的做法相反：能混着练就混着练，只有难判分、步骤极长的活单独练，再用多老师蒸馏并回来；谁对谁错尚无定论

## 文字稿

### 什么是蒸馏和多老师蒸馏

小米 MiMo 和 DeepSeek V4，都在用同一招：多老师蒸馏。刷到模型新闻的人，多半见过「蒸馏」俩字，DeepSeek V4 的报告和罗福莉的推文里都写着，但很少有人真讲清楚。好几个老师教一个学生，凭什么不学成四不像？

先说蒸馏。训练大模型跟带徒弟一样：一个本事大的老师傅，把经验传给一个新手。DeepSeek 的 R1 当年就这么干过，蒸出六个小模型。多老师蒸馏是升级版：修代码的师傅、做网页的师傅、搞安全的师傅，各练各的，最后一起带一个学生。

### 在策略蒸馏：学生自己做题，老师一步步纠正

关键在怎么教。官方管这个叫在策略蒸馏：学生自己动手做题，老师在旁边一步步纠正，不是直接抄答案。老师只告诉你这步对不对、下一步往哪走，答案还是学生自己写出来的。抄答案只能学会结果，自己做题才能学会手艺。

### 小米和 DeepSeek 的用法不一样

两家用法还不一样。DeepSeek V4 的报告写得明白：每个领域先练一个专家，再用十多个老师蒸一个学生，混合训练那一阶段被它整体取代了。小米反过来：能混着练的就混着练，只有难判分、步骤极长、实在太难的活才单独练，练完再用多老师蒸馏并回来。罗福莉在推文里自己问过，为什么是混着练而不是多老师蒸馏，她的回答是，这两个不是二选一。谁对谁错，现在没定论。

下次再刷到「蒸馏」，先问一句：是谁教谁，学生是自己做题还是抄答案。

## 常见问题

### 多老师蒸馏和普通蒸馏的区别是什么？

普通蒸馏是一个老师傅把经验传给一个新手。多老师蒸馏是每个领域先练出一个专家，比如修代码、做网页、搞安全各一个老师，最后一起带一个学生。DeepSeek V4 就用了十多个老师蒸一个学生。

### 在策略蒸馏是什么意思？

在策略蒸馏就是学生自己动手做题，老师在旁边一步步纠正，只告诉学生这一步对不对、下一步往哪走，而不是让学生直接抄答案。抄答案只能学会结果，自己做题才能学会手艺。

### 小米和 DeepSeek 的多老师蒸馏一样吗？

不一样。DeepSeek V4 用十多个专家老师蒸一个学生，把混合训练整体取代了；小米是能混着练的先混着练，只对难判分、步骤极长的任务单独练再蒸回来。罗福莉说这两个不是二选一，谁对谁错现在没定论。

> 视频不在本站托管，正片见上方平台链接；本页是目录与注解。