小米 MiMo-V3 HySparse2 架构：读长文省一半
HySparse2 是小米给 MiMo-V3 准备的新架构，V2.6 发布隔天由罗福莉亮出。它解决 AI 读长文又慢又贵的问题：前半段读完做一份笔记、后半段共享，49 层模型读百万字只跑前 25 层。注意这是架构论文，MiMo-V3 还没发布。
这期讲了什么
- 小米 9 月 22 日刚发 MiMo-V2.6，隔天负责人罗福莉就在 X 上亮出 V3 底牌：一篇挂 arXiv 的 HySparse2 架构论文；它是架构论文不是模型发布，实验跑在 800 亿参数研究模型上，V3 无成品无价格无日期
- AI 读长文贵在两处：预填充要把每个字过一遍、读过的内容存成 KV 缓存占显存；容易忘是因为每读一字要翻全部笔记，全行业都在用稀疏注意力「挑重点看」
- 路线分两派：少记笔记派（微软 YOCO、小米、谷歌 Gemma 3n）和看得糙派（DeepSeek 训索引器、Kimi/千问线性注意力）；MiniMax M1 用线性、M2 因多跳推理掉点退回全注意力
- HySparse2 两派都用：按字挑重点、强制看最近 128 个字、后半段共享前半段一份笔记，49 层模型读百万 token 只跑前 25 层，预填充可提前退出
- 论文算的账（公式推算非实测）：1M token 预填充计算量降到 1/5.02，KV 缓存从 12.09 GB 降到 2.69 GB；RULER 256k 检索 58.45 分 vs 上一代 35.74；代价是 GSM8K 数学掉 5 分多
- 底座 MiMo-V2.6 是 MIT 开源：Pro 一万亿参数激活 420 亿、百万 token 上下文、Artificial Analysis 智能指数 46 分同尺寸开源第一；Flash 输入每百万 token 0.14 美元，对比 Claude Opus 4/20 美元、GPT-6 Luna 0.10/0.50 美元
文字稿
AI 读长文为什么又慢又贵还容易忘
小米 MiMo 的负责人罗福莉刚发了篇论文，MiMo 的下一版 V3 要换一套新架构。用过 AI 读长文档的人都懂，又慢、又贵，读到后面还容易忘。这集把小米这篇论文拆开讲，再把 DeepSeek、Kimi 各家走的路摆在一起比。
事情是这样的。这两天，罗福莉在 X 上发了个帖子，说 MiMo-V3 要用一套全新架构，核心设计叫 HySparse2，论文也挂上了 arXiv。帖子里配了论文的对比图，小米新架构那条橙色的线，分数那栏排在最上面，成本那两栏压在最下面。翻译一下，就是又快、又省、还记得住。
先把丑话说前头。这是一篇架构论文，不是模型发布。MiMo-V3 还没影，没成品、没价格、连个发布日期都没有。论文里的主要实验是在一个八百亿参数的研究模型上跑的，所以后面每个数字说的都是这套架构有多大潜力，不是 V3 已经做到了。
那 AI 读长材料到底贵在哪儿？你扔给它一份两百页的合同，它回答之前得先把每个字都过一遍，这一步叫预填充，材料越长这一步越贵。读完还不算完，还得把读过的内容做成笔记存进显存里，相当于 AI 的草稿纸，这个笔记叫 KV 缓存。笔记越厚，草稿纸越占地方，钱就是这么烧掉的。
容易忘又是怎么回事？模型每读一个字，都要回头翻一遍笔记，看看跟前面哪些字有关系。材料短还好，材料一长，逐字翻笔记本身就慢得离谱。所以全行业都在想同一个办法：别逐字翻了，挑重点看。这个思路叫稀疏注意力，好比查字典不逐页翻，按索引直接翻到那几页。挑错了，就真忘了。
各家路线：少记笔记派和看得糙派
挑重点看这四个字，各家做法完全不一样。DeepSeek 是让模型自己学着挑，专门训练一个索引器，预测哪些字值得看。Kimi 和阿里千问走的是另一条路，叫线性注意力，相当于把读过的历史压成一份固定大小的摘要。千问把线性层和标准层按三比一混着用，Kimi 官方说笔记能省百分之七十五。省地方是真的，但摘要毕竟是摘要，细节会丢。
最有意思的是 MiniMax。它家的 M1 用的也是线性注意力，结果到了 M2，官方自己发博客承认这套办法在多跳推理上掉点，又退回了最笨也最稳的全注意力——所谓多跳推理，就是答案要串起好几个线索才能推出来的那种题。试过，退了，现在又要回来，MiniMax 预告下一代还要上新的稀疏方案。连摔过跤的人都回来了，说明这道题谁也绕不过去。
HySparse2 的解法：两派都用，还改了流程
小米这篇论文的解法一句话：两派的办法它都用了，还顺手改了读材料的流程。先说少记笔记这一派。这个主意不是小米首创，是微软两年前一篇叫 YOCO 的论文提出来的：把模型劈成两半，前半段读完材料做好一份笔记，后半段所有层共享这一份，不用每层各记各的。小米在论文里写得明白，这个设计就是跟着 YOCO 学的，师承这事人家没藏着。
再说看得更糙这一派，小米用的是精细版。别家的稀疏，要么按块挑，一整块要么全看要么不看，要么得额外训练一个索引器来挑。小米改成按字挑，哪个字重要就看哪个，论文里还特意写了句不用额外训练一个索引器——这话是冲着 DeepSeek 的路线说的。另外还强制每个字必须看最近的一百二十八个字，近的绝不漏，远的挑着看。
最狠的是流程。因为后半段直接共享前半段的笔记，读材料这一步跑完前半段就能收工，后面二十几层根本不用动。一个四十九层的模型，读一百万字的时候只用跑前二十五层。论文原话是，预填充可以提前退出。翻译一下：别人读材料要整个模型全跑一遍，小米这个跑一半就提前收工。
省了多少：计算量五分之一，笔记四倍压缩
那省下来多少？先说清楚，论文给的是一笔算力账，拿公式算出来的，不是真机掐表测的速度。材料拉到一百万 token 那么长——token 就是 AI 眼里的字，一个汉字差不多算一两个——按论文的分析，读材料要花的计算量只有上一代架构的五分之一还不到，精确数字是五点零二倍。
这个上一代架构叫 Hybrid SWA，就是这周刚发布的 MiMo-V2.6 在用的那套。也就是说，小米拿自家最新旗舰的架构当靶子，把计算量压掉了五分之四。跟自己比，不跟别人比，这点先记住。
再看笔记这笔账。同样一百万 token，上一代架构的笔记要占十二点零九 GB，小米这套只占二点六九 GB，差不多四点五倍的关系。怎么省的？上一代要留九个全注意力层，这套只留五个，后半段还直接共享前半段的笔记。显存越省，租机器的钱就越省，这是真金白银。
光省钱不算本事，省完还找得准才算。论文里有个长文检索测试叫 RULER，材料拉到二十五万六千 token，小米这套考了五十八点四五分，上一代三十五点七四，自家上一版三十二点六一，平均分也涨了十几二十分。用大白话说，笔记做得更薄，找东西反而更准，这才是那条帖子敢吹三样全要的底气。
听着挺美，但代价也有。论文自己的消融实验写着，强制看最近一百二十八个字这个设计，数学解题掉了五分多，有一项检索测试也掉了将近五分。小米的取舍是长文检索和省钱优先，数学题让一点，这个交换值不值，得看 V3 出来以后大家拿它干什么。
还有个藏在论文角落里的好处。小米这套架构读材料和写回答可以分开部署，读材料那台机器只需要装前二十五层，显存需求差不多减半。你我看不见摸不着，但对掏钱买机器跑 AI 的公司，这是实打实的省钱。
全行业对比和 MiMo-V2.6 的价格
把全行业摆在一起看就有意思了。大家解的是同一道题——长上下文太贵，上下文就是 AI 一次能记住的东西。路线分两派：一派少记笔记，微软、小米、谷歌的 Gemma 3n 走这边；一派看得更糙，DeepSeek、Kimi、千问、MiniMax 走这边。小米这篇论文的巧劲在于两派的办法都拿了，还把读材料的流程减掉一半，胃口是真不小。
有个细节值得说。小米没把这套东西包装成全自研，论文里明明白白写着跟着微软 YOCO 学，引用列表里还有四篇 DeepSeek 的论文。带队的罗福莉本来就是 DeepSeek-V2 的关键开发者之一，去年十一月官宣加入小米，雷军直管。懂行的人带队，承认站在巨人肩膀上，这比喊口号实在。
再说这套架构要接的底座。就在同一周，小米刚发布了 MiMo-V2.6，MIT 协议开源，权重随便下载。Pro 版一万亿出头的参数，实际干活激活四百二十亿，上下文一百万 token。在 Artificial Analysis 那个第三方评测榜上，智能指数四十六分，同尺寸开源模型里排第一。
价格更直接。MiMo-V2.6 的 Flash 版，输入一百万 token 一毛四美元，输出两毛八；Pro 版输入四毛多，输出八毛七。什么概念？海外最贵的旗舰之一 Claude Opus，输入四美元，输出二十美元。小米官方的说法是，同等智能水平，价格是海外模型的二十分之一到六十分之一。但这里得说句公道话，OpenAI 的 GPT-6 Luna 输入只要一毛美元、输出五毛，比小米 Flash 还便宜，价格战不是只有中国在打。能说的是：中国开源模型把同档次的价格压得很低，这是事实。
那这篇论文跟价格有什么关系？关系大了。模型贵，很大一部分贵在长上下文的计算和显存上，现在有人把这笔账压到五分之一、四分之一，成本下来了，降价的空间才有了。注意是有了空间，不是已经降价，V3 卖多少钱论文一个字没提。
为什么这事值得多看一眼
小米这家公司有个脾气，喜欢把贵的东西做便宜。二零一一年第一代小米手机定价一千九百九十九，两天订出去三十万台；二零一八年董事会立了条规矩，硬件综合净利率永远不超过百分之五，超了退给用户；今年三月，雷军宣布未来三年 AI 投入超过六百亿。现在，当年做 DeepSeek-V2 的人，坐在了小米的实验室里。
所以我对 V3 的期待很朴素，就一条：把读长文这件事的价钱打下来，让 AI 读完一整本书、一整个项目的文档、一整年的聊天记录，变成人人都用得起的日常。
常见问题
HySparse2 是什么？
HySparse2 是小米为下一代 MiMo-V3 设计的新架构，已挂 arXiv。它把「少记笔记」和「稀疏注意力」两派办法合在一起：前半段读完材料做一份笔记、后半段共享，49 层模型读一百万 token 只跑前 25 层，预填充计算量降到上一代架构的五分之一。
MiMo-V3 发布了吗？
还没有。HySparse2 目前只是一篇架构论文，实验在一个八百亿参数的研究模型上跑，MiMo-V3 没有成品、没有价格、没有发布日期。这周发布的是用上一代 Hybrid SWA 架构的 MiMo-V2.6。
稀疏注意力和线性注意力有什么区别？
稀疏注意力是「挑重点看」：像查字典按索引翻页，DeepSeek 靠训练索引器挑、小米 HySparse2 按字挑。线性注意力是把读过的历史压成一份固定大小的摘要，Kimi、千问走这条路，省地方但会丢细节——MiniMax M2 就因多跳推理掉点退回了全注意力。