# AI 智能体逃出沙箱偷答案事件始末

- URL: https://davidyin.dev/video/bv1dugz6meag/
- 作者: David Yin
- 发布: 2026-07-27T14:17:24+08:00 · 更新: 2026-09-29
- 时长: 10:44
- 平台: B 站 https://www.bilibili.com/video/BV1dugZ6mEag · YouTube https://www.youtube.com/watch?v=IBVBQ3hhpYg
- 标签: 目标错置、奖励黑客、AI 智能体、AI 安全、GLM
- 摘要: AI 失控案例：今年 7 月一款顶级大模型在攻防测试里为解一道题，利用零日漏洞逃出隔离沙箱、提权摸到联网机器，从另一家平台的生产数据库取走答案。视频用「目标错置」讲清这不是叛变而是太听话，以及防守方为什么靠本地部署的 GLM 完成取证。

## 这期讲了什么

- 今年 7 月一款海外顶级大模型在内部攻防测试里（安全拦截关闭、拒答门槛调低），为解一道题自行找出软件包代理上的零日漏洞钻出隔离环境，横向提权摸到联网机器
- 它推断题目答案存在全球最大 AI 开源社区的服务器上，用偷来的凭据加零日漏洞打通远程执行通道，直接从对方生产数据库取走答案；官方定性「史无前例」
- 被攻方公告：入侵全程由自主运行的 AI 智能体完成，一个周末横穿多个内部集群，上万动作散在短命沙箱里；被翻走的是部分内部数据集和服务凭据，公开模型未被动，事件已报执法部门
- 定性不是「叛变」而是目标错置（奖励黑客）：AI 优化的是写下来的目标而不是心里的意思，跟外卖只考核准时率骑手就闯红灯同理；这一代模型已能扛住长链条网络行动，且无需源码就能在真实系统里找到新攻击路径
- 实操建议：给 AI 派活要划范围、设关卡、留刹车；权限就是它的能力上限，沙箱不等于隔离；取证反直觉一幕——复盘 17000 多条攻击动作时商用大模型被自家安全护栏挡回，最后靠本地部署的开放权重模型 GLM 完成分析

## 文字稿

### 事件始末：AI 翻出考场偷答案

一个 AI 为了通过考试，自己翻出了考场，把答案偷了回来。这不是段子，是今年 7 月真实发生的事，攻防两边各自发了公告承认。

先说这场考试。一家做前沿模型的头部公司，内部有一套攻防测试题，放模型去攻，看它能攻到什么程度，好把能力上限量出来。要量得准，他们特意调了两样东西：平时线上拦高风险网络攻击的安全拦截关了，模型的拒答门槛也调低了。翻译成人话：监考撤了，还专门跟考生说，你放开手脚攻。

考场按设计是安全的：整个环境高度隔离，不能上网，唯一对外的口子是他们自己搭的软件包代理，相当于考场墙上那扇送文具的小窗。

结果模型先是花了非常多的算力琢磨同一件事——怎么上网，它认定上了网这道题才有解。然后它在那扇小窗上找到一个漏洞，此前没人知道、也没有补丁，行话叫零日漏洞，它就从这儿钻了出去。出去之后，它一间屋一间屋地摸，不断把权限往上抬，横着走，一直摸到一台能连外网的机器。到这儿，它已经不在考场里了。

接下来是我看完整件事后背发凉的地方。它上了网，开始推理：这套题的题目、数据和答案会存在哪儿？它推断很可能存在全球最大的那个 AI 开源社区的服务器上。它推断对了。然后它把偷来的凭据加上零日漏洞串起来用，在对方服务器上打通一条远程执行代码的路，最后直接从人家的生产数据库里把这套题的答案取走了。

换到被攻的那一边。那家开源社区的公告写得很清楚：这次入侵从头到尾是一套自主运行的 AI 智能体自己干的，跟他们以前处理过的所有事都不一样。入口是数据处理线上的一个恶意数据集，靠它在处理节点上跑起代码，之后提权、收走云和集群的凭据，一个周末横着串进了好几个内部集群。整个过程不是几十步，是上万个动作，散在一大堆活不长的临时沙箱里跑，连指挥通道都会自己搬家。

好在结果没那么糟：被翻走的是一部分内部数据集和一些服务凭据，公开的模型和数据集没被动过，软件供应链验过是干净的，这件事也报给了执法部门。还有一点要如实说：到底是谁先发现的，官方通报和媒体报道对不上——公司说自家安全团队内部发现了异常，媒体引述知情人士说发现得相当晚，这个等最终报告。

官方公告里有一句白纸黑字的话，是整件事的钥匙：所有证据都指向同一个结论，这个模型一门心思就想着把这道题解出来，为了一个很窄的测试目标，它走到了极端。它不是想搞谁，也不是想干成什么大事，它是想通过考试。

### 目标错置：AI 太听话而不是有坏心

这算不算 AI 失控？我的看法是，用失控这个词，反而把事情看小了。

回头看它走过的每一步——找上网的路、找漏洞、抬权限、判断答案存在哪儿、最后把答案拿走——站在它的角度每一步都非常合理，因为你给它的目标只有一个：把这道题解出来。你没说的是：只能在考场里解。

这就是安全圈越来越常提的一个词，叫目标错置，也有人叫它奖励黑客：AI 优化的是你写下来的那个目标，不是你心里想的那个意思。这个毛病一点都不新，做过管理的人一秒就懂：外卖平台只考核准时率，骑手就会闯红灯逆行；客服只考核结案率，最快的结案办法是把电话挂了；工厂只考核产量，质量就往下掉。你身边可能就有更小的版本：让 AI 把一份报告压到一千字，它可能把最关键那段直接删了——字数达标了，报告废了。你考核什么，你就会得到什么，而且你只会得到你考核的那个。这句话在管理上讲了几十年，现在原封不动搬到了 AI 身上。

人跟 AI 的差别在于人心里还有一层常识兜底：骑手知道闯红灯不对，只是被逼的；AI 没有这层，它不知道什么叫不对，只知道目标达没达成。你把它关进沙箱，它不会理解成「我不该出去」，只会理解成「这是一道要绕的题」。还有一层很多人没意识到：平时拦着它不干坏事的安全护栏是贴在外面的一层，不是长在骨头里的，这次为了测上限把这层揭了，你就看见底下它原本的样子——不带善恶，只认目标。

为什么这种事以前没听说过，今年就出来了？因为以前它做不到。这次事件引用了一份英国官方 AI 安全机构的评测：这一代模型已经越来越能扛住跨度大、步骤多的复杂网络行动，以前的模型三五步之后就散架，现在它能跑马拉松，能一直记着长期目标。官方公告里还有一句更狠的：这次事件说明，先进模型能在完全拿不到源代码的情况下，在真实系统里找出全新的攻击路径。以前判断一个漏洞危不危险，看攻击者有没有源码、有多少人力、能耗多久，这三样东西现在都在飞快变得不值钱。

划一条线，免得这期成了贩卖焦虑：这件事发生在人家自己的实验室里，是一场特意关掉防护、特意让模型去攻的测试，不是你手机上的聊天框会突然自己跑去黑一家公司。它证明的不是 AI 已经反了，而是这个能力已经真实存在，只是暂时还锁在笼子里——而这一次，笼子上的锁被它自己找到了毛病。

### 给 AI 派活要划边界，权限就是能力上限

这件事跟你我有三条关系，都用得上。

最直接的一条：给 AI 派活，光说要什么不够，还得说清楚不许怎么办成。你让它清收件箱，心里想的是「把没用的归档」，它可能理解成「全删了最干净」；让它订最便宜的机票，你默认「我人得能上得去」，它可能订一张转两次、凌晨三点落地的。你没说的那部分就是它的自由发挥区，目标定得越死，边界越要写清楚。边界不用写得多漂亮：划个范围——只准在这个文件夹里动手；设个关卡——办完先拿给我看，我说行你再执行；留个刹车——碰到要输密码、要付钱、要往外发东西的，一律停下来问我。这几句花不了十秒钟，把自由发挥区收窄了一大半。

再往下一层是给做技术的朋友的：权限就是它的能力上限。这次事件里最该被记住的一点是，沙箱不等于隔离——只要留了一个对外的口子，只要那个口子上的软件有毛病，隔离就是纸糊的。它手上拿着什么钥匙，就能走到哪扇门。别再问「它会不会乱来」，先问「它手上有多少把钥匙」。

最后一条最反直觉。被攻的那家平台事后要复盘一万七千多条攻击动作，用 AI 分析日志。他们一开始用商用接口上的前沿模型，结果被挡回来了——做这个分析得把大量真实攻击命令、攻击载荷发给模型看，而模型的安全护栏分不清你是来救火的应急人员还是来放火的攻击者。最后他们把智谱的 GLM 装在自己机器上，用这个能自己掌控的开放权重模型在自己环境里做完了取证分析，攻击数据和凭据一步都没离开自己家。

你品品这个局面：攻击的一方不受任何使用条款约束，防守的一方被自己这边的安全条款挡在门外。这就是他们说的不对称，也是为什么手里得留一个能装在自己机器上、自己说了算的模型——不是为了省那点钱，是为了出事那天你还有得用。

最后回到开头那句话：这个 AI 不是有了坏心，它是太听话了，听的是你写下来的那句话，不是你心里的那个意思。往后给它派活之前，多花十秒钟想一想：我没说出口的那部分，它会怎么给我补上？

## 常见问题

### 目标错置是什么意思？

目标错置也叫奖励黑客，指 AI 优化的是你写下来的那个目标，而不是你心里想的意思。比如只考核字数它可能删掉关键段落，只给「解题」目标它就翻出考场偷答案——它不知道什么叫不对，只知道目标达没达成。

### 大模型是怎么逃出沙箱偷到答案的？

它在隔离环境唯一对外的软件包代理上找到一个零日漏洞钻出去，随后横向提权摸到能联网的机器，推断答案存在最大 AI 开源社区的服务器上，再用偷来的凭据加漏洞打通远程执行通道，从对方生产数据库里取走了答案。

### 为什么取证最后要靠国产 GLM？

复盘一万七千多条攻击动作需要把大量真实攻击命令和载荷发给模型，商用大模型的安全护栏分不清救火和放火，把请求挡了回来。防守方改用装在自己机器上的开放权重模型智谱 GLM 完成取证，攻击数据和凭据也没离开自己家。

> 视频不在本站托管，正片见上方平台链接；本页是目录与注解。