大模型长上下文 100 万是真的吗？实测 3.2 万开始塌

这期讲了什么

• 「支持 100 万上下文」的真实含义：那是上限不是保证，通义千问官方承认百万级长度根本训不动，实际只练到二十多万、剩下的是后来接上去的——上限是接上去的，不是练出来的
• 实测塌方点：换成需要绕一层才能对上号的提问，材料长到 3.2 万字，13 个宣称十万级以上的主流模型里 11 个掉到自己短文本水平的一半以下，最好的从 99.3% 掉到 69.7%
• 「信息放中间最容易丢」要讲准：长度效应各家一致（材料一长就掉），位置效应看任务类型——绕弯的活中间确实吃亏，照字面找的活挪 11 个位置也没看出明显差别
• 长材料实操喂法：按主题切成三到五段各加一行标签；先让它列不超过 10 条的目录并注明段落；每条结论逼它标出处原文；最关键的要求放在整段话最后一句

文字稿

装得下不等于看得清：100 万上下文的真相

长文件丢给 AI，它说读完了，中间那段它压根没看。这事儿你多半碰上过：一份长报告扔进去让它总结，出来的东西开头对、结尾也对，可中间整整一大块没了。你还以为是自己没问清楚。

把这事换成你熟悉的样子。你手上有一叠 300 页的合同，让一个刚进公司的新人通读一遍再回来汇报。他不会跟你说中间有几十页跳过去了，他给你的是一份看起来特别完整的汇报——开头记得，结尾记得，中间那段没了。更麻烦的是他自己也不觉得漏了，你问他读完没有，他会点头。要命的是他可不是装不下，桌上还空着一大片，他还是会丢，眼睛在几百页里摊薄了。你再往里塞一沓没关系的材料，他对原来那部分的把握照样往下掉。材料里要是夹着几段长得跟答案特别像、其实不是答案的内容，材料越长，他越容易把那段挑出来交给你。

这个号早先的三分钟版拿书桌打过比方：材料一份份往上放，桌子满了最早那份被挤下去。那个比方今天要自己推翻一半——它对的是材料确实有个装得下的上限，但错的那一半是大多数人真会踩的坑：桌子没满，中间的东西照样看不见；丢掉的也不一定是最早那份，很可能正是你最在意的中间那几页。「支持上百万上下文」这句话，跟简历上写「精通」是一个意思，写得下不等于用得上。看到这个数，该追的不是够不够大，是这里头有多少真管用。

一长就糊：大海捞针满分，绕个弯就塌

先看「100 万」这个数是怎么测出来的。行业里有个通用测法叫大海捞针：在一大堆无关文字里埋进去一句原话，让模型找回来。这是照着字面找，最简单的一档，满分很正常。通义千问去年年初开源过百万上下文的版本，官方博客那张图在 100 万长度上几乎全绿；官方还写了一句，一个只练过三万多长度的小模型放到 100 万长度上找那句话，照样接近满分——不是模型强，是这道题太好做。同一篇博客里官方还写了另一件事：真拿 100 万这么长的材料去训练是训不动的，成本扛不住，他们实际只练到二十多万，剩下那一大截是后来接上去的。上限是接上去的，不是练出来的。

2025 年 2 月有一份评测，把「照着字面找」换成了「得想一层才找得到」——问题里用的词跟答案里的词对不上，得绕个弯才能对上号，这才是你平时用它的样子。材料长到三万多字这个量级，成绩立刻塌方：十几个宣称支持十几万的主流模型里，13 个里有 11 个掉到自己短文本水平的一半以下，精确点说这个长度是 3.2 万。其中表现最好的那个也从 99.3% 掉到 69.7%。这不是一家的说法：2024 年 4 月有份评测量了 17 个模型，全都说扛得住三万多长度，真到了这个长度还站得住的只有一半。

会不会是题目本身变难了？去年 7 月一家做检索数据库的公司发了份技术报告专门堵这个口子：题目难度锁死一个字不改，只把输入拉长，18 个前沿模型表现照样一路往下掉。同一份报告还给了两个细节：问题跟答案措辞越不像，材料一拉长掉得越快；那些看着像答案其实不是的段落，破坏力随长度放大——短的时候还认得出来，长了就分不清了。

网上传得最广的一句「信息放中间最容易丢」，对，但有条件。2023 年一支高校研究团队让模型从材料里找答案，信息放开头最稳、结尾也稳、中间最差，画出来是一条 U 型曲线。可刚才那份技术报告把答案位置从头到尾挪了 11 个档都埋过一遍，就他们那个找一句话的任务来说没看出明显差别。准确的说法是：长度效应各家一致，材料一长就掉，这个没争议；位置效应看任务类型，绕弯的活中间确实吃亏，照字面找的活未必。

那到底是什么在往下掉？一家头部海外 AI 公司工程博客里的说法最贴切：注意力是有预算的，每多进来一个词就得从这份预算里花掉一点。像一间屋子，每进来一个人都得跟屋里所有人打一遍招呼，三五个人还行，来一百个谁也顾不过来。时间上的账也得补一句：这几份评测从 2023 年到去年 7 月，写评测的人自己说过，新模型确实变好了，可材料一长就往下掉这个方向，三年没变过。

材料该怎么喂：切、要目录、逼出处

最省事见效最快的一件事：长材料别整份糊上去。按主题切成三到五段，每段开头自己加一行标签，比如〔对账明细 · 2026 年 3 月〕，等于在几百页里立了块路牌。

接着别急着问细节。拿到长材料，你的开场白应该是这句：「先别回答我的问题。先把这份材料按主题列成不超过 10 条的目录，每条注明它在哪一段。」拿到目录再点着问，它自己列过一遍，比你一上来就问找得准得多。

然后是最要紧的一句，专门防它编：「每条结论后面注明它出自哪一段、原文是哪句话。找不到原文就写『材料里没有』。」它标不出出处的那条，八成就是编的，你看哪条空着就行，不用逐条核对。

位置也有讲究：你那句最关键的要求别放材料前头，放在整段话的最后一句，收尾这个位置最稳。要是怀疑它漏了中间那块，别问「你读完了吗」——它一定说读完了，它自己也不知道漏了，你得指名点姓：「把第三部分单独再讲一遍。」还有个反着来的：宁可给少不给杂，那些看着像答案其实不是的段落会主动把它带偏，喂之前先删一遍比喂完再纠正省事。最后一个小技巧：问不出来的时候，翻回材料把那句话的原词照抄进问题再问一遍，往往就中了，字面越像它越好找。

以后再看到「支持 100 万上下文」，翻译成人话是「最多能塞这么多」，不是「塞这么多它都照顾得过来」。这话不是贬低哪一家，各家都一样，这是这代技术共同的边界。标称 100 万，3.2 万就开始塌，13 个里有 11 个——这三个数摆一块儿，你就知道该把力气花在哪儿了。会用 AI 的人会派活，也得会喂材料。

常见问题

大模型标称的上下文长度是真的吗？

数字本身不假，但它是上限不是保证。通义千问官方承认百万级长度训不动，实际只练到二十多万、剩下是接上去的。换成需要理解的提问，多数模型在 3.2 万字量级成绩就掉到短文本水平的一半以下。

为什么 AI 读长文档会漏掉中间内容？

因为注意力是有预算的，每多一个词都要花掉一点。材料一长，模型对中间部分的把握就摊薄了，而且它自己并不知道漏了。那些看着像答案其实不是的段落，破坏力还会随长度放大。

长文档怎么喂给 AI 效果才好？

按主题切成三到五段各加标签；先让它列带段落标注的目录再点着问；每条结论要求注明出处原文；最关键的要求放整段话最后；宁可删材料不要堆杂料。