苹果如何把两百亿参数模型装进手机

这期讲了什么

• 反常识的做法：苹果最强的手机 AI 模型有两百亿参数（原来那个三十亿、大了六倍多），但它压根没整体装进运行内存——整个存在手机存储里，和照片、视频躺在一块
• 每次只叫醒一小块：你开口提问，手机才把这次要用的一小部分临时搬进运行内存，真正干活的参数每次只有十亿到四十亿，看你问得难不难
• 为什么不能边算边换：从手机存储往运行内存搬东西太慢，没法一个字一个字地换；所以苹果让你一张嘴就先挑出要用的部分，说到一半再换下一批
• 这招叫指令跟随剪枝：模型里分了好多块不同本事的「专家」，按你这句话先挑出该用的那块——模型本身没变小，只是没让全部参数一块上班
• 省下来的力气去了哪：念对话的新语音得分 4.24（老声音 3.82）；苹果还说训练不用你的私人数据、聊天内容也不用；新功能挑机型，官方只说需要最强的苹果芯片，具体哪几款文档没写

文字稿

两百亿参数的模型，手机凭什么装得下

苹果今年公开了一份文档，讲手机上的 AI 是怎么做的。我去翻它，是因为一件你可能也碰到过的事：同样是苹果手机，别人那台已经有新的 AI 功能了，你这台就是没有。我还以为是手机太旧该换了。

翻完才发现，根本不是换手机那么简单。文档说，苹果给手机上的 AI 换了一套新模型。一个模型能干到什么程度，先看一个数，叫参数。那参数到底是什么？参数你就把它理解成模型到底学了多少东西：参数越多，AI 懂得越多、越能干，可同时也越占地方。苹果手机上原来那个模型，三十亿参数，能装进手机。

这次文档里写的最强那个模型，两百亿参数，比原来大了六倍多。你一听肯定会想：手机这么点地方，怎么可能装得下？确实，手机干活的那块地方根本塞不下。那问题就来了，苹果到底是怎么把它塞进去的？这数真不是我编的，苹果官方文档里就写着呢，两百亿参数，这是官方原话。

答案：模型存在存储里，每次只叫醒一小块

先说清一件事。手机里有两块地方：一块是存照片、存视频的，叫存储，很大；另一块是当下干活用的，叫运行内存，小得多。大模型要跑起来，就得待在运行内存里。两百亿个参数全搬进运行内存，根本搬不下——苹果文档也讲得挺清楚，这么一搬就得占掉一大块。手机上的 AI 做不大，瓶颈就卡在这儿。

苹果干脆换个法子，不往运行内存里塞了。整个模型就存在你手机存储里，跟照片、视频挤在一块。等你一开口问，手机才把这次要用的一小部分临时搬进运行内存。所以真正在干活儿的参数，每次也就十亿到四十亿，看你问得难不难。一个两百亿的模型，每次只叫醒其中一小块。

为什么不能随时换？因为从手机存储往运行内存搬东西太慢，根本没法一个字一个字地换。所以苹果换了个法子：你一张嘴，先挑出你要用的那部分，说到一半再换下一批。

挑的是什么？模型里分了好多块不同本事，官方管每一块叫专家。你问天气，根本用不着写代码那块。以前不管你问啥，所有部分都得一块上。苹果把这招叫指令跟随剪枝，意思就是按你说的这句话，先挑出该用的那块。模型本身没变小，只是没让全部参数一块上班。

这解释了什么，以及省下来的力气去了哪

所以简单的问题秒回，复杂的问题得搬更多东西，自然得多等一会儿。新功能挑机型，官方只说需要最强的苹果芯片，具体支持哪几款文档里没写，别听传闻就换手机。

省下来的劲，变成了你耳朵能听见的东西：苹果找人给语音打分，念对话的新声音拿了四点二四，老声音只有三点八二。苹果还说了，训练的时候不会用你的私人数据，聊天内容也不会用。

手机 AI 慢、纠结要不要换机？这段可以转给他。原来手机里的大模型没整体装进运行内存，是从存储里一块块调出来的。手机上的 AI 到底怎么跑起来的，我一集拆一个。

手机 AI 反应慢半拍，不一定就是它笨。现在看一台设备 AI 好不好用，不看参数有多大，就看它懂不懂该使劲的时候使劲。你手机里的 AI 反应快不快？问难一点的问题，会不会卡一下？

常见问题

苹果 AI 模型怎么装进手机的？

两百亿参数的模型没有整体装进运行内存——那根本塞不下。苹果把它整个存在手机存储里，你一开口提问，才把这次要用的一小部分临时搬进运行内存，每次真正干活的只有十亿到四十亿参数。因为从存储往运行内存搬东西太慢，所以是张嘴时先挑好一批、生成中途再换下一批。

指令跟随剪枝是什么？

苹果官方给这招起的名字。模型内部按本事分成了好多块「专家」，「剪枝」就是按你说的这句话先挑出该用的那几块，其余参数这次不上班——比如问天气就用不着写代码那块。模型本身没变小，只是没让全部参数一起干活。

苹果手机 AI 为什么有的快有的慢？

因为每次干活用的参数量不一样：简单问题只叫醒一小块，秒回；复杂问题要搬更多参数进运行内存，自然得多等一会儿。这也解释了为什么新功能挑机型——官方只说需要最强的苹果芯片，具体哪几款文档没写。