# AI 研究员辞职警告灭绝风险？递归自我改进是什么

- URL: https://davidyin.dev/video/bv1bzyt6vegk/
- 作者: David Yin
- 发布: 2026-09-10T16:41:35+08:00 · 更新: 2026-09-29
- 时长: 03:22
- 平台: B 站 https://www.bilibili.com/video/BV1BzYT6vEGk · YouTube https://www.youtube.com/watch?v=elnpieWsvy4 · 视频号（搜索「不确定体验局」）
- 标签: AI 风险、递归自我改进、超级智能、Anthropic、AI 对齐
- 摘要: AI 研究员公开辞职警告超级智能风险，是真的吗？视频把三层材料摆在一起：Jacob Coxon 辞职帖的指责是他个人预测；Anthropic 对齐负责人 Evan Hubinger 个人估计未来十年灭绝风险超 10%，属个人判断；官方八月风险报告对高风险场景评的是低风险，分清了预测和证据。

## 这期讲了什么

- 研究员 Jacob Coxon 公开辞职并自述在两家公司做过三年预训练，指责它们「没有负责任地做事、正奔向自我改进的超级智能、拿我们的生命下注」——这些是他的指责和预测，不是能力检测
- 他辞职公司的对齐负责人 Evan Hubinger 给出个人估计：未来十年 AI 杀死所有人类的风险超过 10%，公司至今没解决超级智能对齐方案，眼下模型风险很低；这是个人判断不是官方结论
- 公司自己的《2026 年 8 月风险报告》对高风险场景的错位风险、关键领域自动化研发整体评估为低风险一档，同时承认 AI 让内部研发明显加快、还没到两倍
- 研究者担心的是递归自我改进——系统不断改造自己的能力再推动下一代；公开材料没有证明今天的 AI 能脱离人做完这件事
- 另一家公司产品页称编程模型「参与创造自身」，官方解释是模型帮人调试训练、管理部署、诊断测试、做评估；同一份系统卡写明它在 AI 自我改进上没到高能力档

## 文字稿

### 三层材料：辞职帖、个人判断、官方报告

AI 会不会自己改进自己？这个问题一冒出来，新闻里几个词就搅成一团：研究员、超级智能、灭绝。作为普通人，看完只剩一个疑问：今天的 AI 到底已经走到哪一步了？

一位 AI 研究员在网上公开宣布，他辞了这家公司的工作，并说自己过去三年就在这家做预训练，也在另一家做过。先别急着替他下结论，把原话、公司报告和产品说明摆一起看，我们到底该信哪一层？

他自己说，这两家公司没有负责任地做事，正奔向自我改进的超级智能，拿我们的生命下注。他后面的帖子还警告，这些系统很快会超越人类，能入侵任何东西，一夜之间改变任何领域。要说清楚：这些是他的指责和预测，不是给今天的产品做能力检测。

他辞职公司的对齐负责人也在网上说了自己的判断：他个人估计，未来十年这个风险超过百分之十，指的是 AI 杀死所有人类。他还说，公司至今没解决超级智能对齐方案；至于眼下模型，他说风险很低，真正担心的是后面的递归自我改进。这个百分比是他的个人判断，不是他辞职公司的官方结论。

### 官方风险报告写了什么

再看这家公司自己发的《2026 年 8 月风险报告》。报告对高风险场景的错位风险、关键领域的自动化研发，整体评估都写着低风险这一档。报告也承认，AI 让内部研发明显加快，还没到两倍，测量本身有不确定性。这一档不等于零风险，也不能验证那位负责人说的概率。

### 递归自我改进是什么，证据到哪一步

答案在这几层说法里：研究者担心的是递归自我改进，是自己造下一代，也就是系统不断改造自己的能力、再推动下一轮系统。但公开材料并没有证明，今天的 AI 已经能脱离人做完这件事。

另一家公司的产品发布页确实写过，它的编程模型是第一个「参与创造自身」的模型。官方解释很具体：团队拿早期版本帮忙调试训练、管理部署、诊断测试结果、做评估。这里是模型参与团队开发，不是模型自己定目标、自己制造下一代。

同一份官方系统卡写明，这款模型在 AI 自我改进上没到高能力这一档。把这句和产品文案放一起就清楚了：官方承认 AI 能帮人做研发，也承认评估仍有边界；至于「AI 已经自己进化了」，证据还接不上。

所以说，以后再刷到「AI 要灭绝人类」，先看是谁说的：研究者的个人判断、他辞职公司的官方风险等级、另一家公司的产品文案和系统卡，根本不是一种证据。碰到这类标题只做一个动作：先找原文里的主语，再问一句，这是在报告已经发生的能力，还是在表达对未来的担心。

## 常见问题

### 递归自我改进是什么意思？

指 AI 系统不断改造自己的能力、再推动下一代系统，通俗说就是「自己造下一代」。辞职研究员担心的正是这个方向，但公开材料没有证明今天的 AI 已经能脱离人做完这件事。

### AI 灭绝风险超 10% 的说法哪来的？

是 Anthropic 对齐负责人 Evan Hubinger 的个人估计：未来十年 AI 杀死所有人类的风险超过 10%。这是他的个人判断，不是公司官方结论——公司自己的《2026 年 8 月风险报告》对高风险场景整体评估为低风险一档。

### 「参与创造自身」的模型是怎么回事？

是另一家公司产品发布页对其编程模型的描述。官方解释是团队拿早期版本帮忙调试训练、管理部署、诊断测试结果、做评估——模型参与团队开发，不是自己定目标、造下一代；同一份系统卡写明它在 AI 自我改进上没到高能力档。

> 视频不在本站托管，正片见上方平台链接；本页是目录与注解。