# Ling-3.0-tiny 是什么？Mac mini 能跑的 7.9B - URL: https://davidyin.dev/video/bv1ljuy6kews/ - 作者: David Yin - 发布: 2026-08-12T10:35:45+08:00 · 更新: 2026-09-29 - 时长: 09:29 - 平台: B 站 https://www.bilibili.com/video/BV1Ljuy6kEWS · YouTube https://www.youtube.com/watch?v=KK1lt6f8DJY - 标签: Ling-3.0-tiny、蚂蚁百灵、稀疏模型、本地部署大模型、Mac mini - 摘要: 蚂蚁百灵开源 Ling-3.0-tiny：总参数 79 亿、每次推理只激活 13 亿，官方验证能在 Mac mini 上跑。视频讲清它凭什么省——按需叫醒的稀疏架构、四层只留一层贵的注意力——以及代价：能跑不等于能用。 ## 这期讲了什么 - Ling-3.0-tiny：总参数 7.9B、每次推理只激活 1.3B，官方自报内存峰值约 8.34GB，验证清单包括 Mac mini、M4 Pro MacBook（每秒 80–90 token）和英伟达桌面工作站——Mac mini 速度官方没给数 - 「装多少，跑多少」两个数：装决定内存底线（全参数都得进内存），跑决定快慢和省不省——以后看模型先问这两个数 - 省的两招：128 个专业单元每次只叫醒 8 个加 1 个常驻；四层注意力里三层换成顺着扫的读法，长文开销从翻倍涨变成平稳涨，贵的一层保准头、便宜三层保速度 - 代价：整个模型仍须全装进内存；开哪几个区由模型临时决定、你管不着；激活 1.3B 的能力天花板撑不起硬仗——能跑不等于能用 - 本事与短板：能记七八万字上下文（官方办法可再拉长一倍）、双答题模式、MIT 许可可商用、大中小三档；Agent 类任务领先（772 对 644、乱编率低），知识问答和前沿难题落后——本地养模型对绝大多数人不划算 ## 文字稿 ### 装多少，跑多少：两个数分开看 蚂蚁百灵开源了 Ling——一座能搬进书房的体育馆，你信吗？这不是段子，就这两天的事。全名 Ling-3.0-tiny：座位全摆齐，可每场开演只开放一小片。以前听模型大小就听一个数，今天起得分开问：装多少，跑多少。 它凭什么敢这么省？因为它把装和跑当成两件事：装，是把整座馆子立起来，柱子、看台、顶棚一块不少；跑，是开演那晚真正点亮的灯、站岗的人、转起来的设备。以前的模型装多少就烧多少，它偏不。 官方模型卡上白纸黑字：总参数七十九亿，每次只激活十三亿。七万九千座一座不能少，整个模型的份量全得装进内存——官方自报的参考数，内存峰值约 8.34 个 G，几集高清视频的量，一台小电脑完全兜得住。装进这么多，每次却只叫醒一小片：检票、灯光、保安、电费全按开放区算，每次回答只算那个小数，剩下的一律歇着。 官方验证过：它在 Mac mini 上能跑，在 M4 Pro 的 MacBook 上也能跑，还有英伟达那台桌面级工作站。跑多快？官方自报 M4 Pro 的 MacBook 上每秒八十多到九十个 token，大概一秒蹦出几十个汉字。注意两个词不能省：官方自报。Mac mini 能跑是真的，可到底跑多快，官方没给数。能跑，跟跑得快，中间还隔着一层。 装跟跑差了六倍。以后听一个模型，得听两个数：装多少，决定你要多大的内存；跑多少，决定它快不快、省不省。 ### 凭什么这么省：按需叫醒和四层留一 以前想把模型变小，要么换小号——让大学霸带出小学弟、本事跟着缩水；要么压精度——每个数字记糙一点、体积小了准头也掉。这两招都在「砍」上做文章。它偏不：一根毛都没砍，只是每次干活只叫醒该醒的那部分。 它自己就是一个完整的模型，内部装了一百二十八个专业单元，可每回答一句话只叫醒八个，再加一个常驻的——每场只开放九个区。 省不只在分区上，还有一手更绝：馆里那套最累的读法，四层里只留一层。那套读法是让每个字都回头跟前面每个字重新比一遍，字越多比得越多、翻着倍地多——长度翻一倍，它要干四倍的活。它把四层里三层换成另一种读法：顺着往下扫，读过的不用回头再比，多几个字就多扫几下、不翻倍。大模型读长文，每多一段最贵那层就成倍加活；这一换，长文开销从翻倍涨变成平稳涨。这套搭配官方写进了架构说明：贵的一层保准头，便宜的三层保速度。 按需叫醒这招，以前是千亿级大模型的省钱手段——模型太大显卡烧不起，才学会只叫醒一部分。它把这一招做成了小模型的立身之本。 但代价一个接一个：装还是得装全，整个模型的份量全进内存，8.34 个 G 那个数就是底线；每场开哪几个区是模型自己临时定的，你指定不了；更要命的是，跑起来只动那一点点，能力天花板就摆在那，别指望它干翻千亿巨无霸。能跑，和能用，是两回事。 ### 能跑不等于能用：速度、本事、许可 一台本地模型够不够格，看三样：速度、本事、许可。速度前面说过了，读得过来、谈不上飞快，干活节奏跟得上。本事：它能一口气记住七八万字那么长的一段对话，官方还给了办法能再拉长一倍；它给两种答题姿势，简单问题直接答、难题展开慢慢想，每句话都能单独开关。许可反而最狠：MIT，最宽松那一档，能自己部署、能改、能拿去商用，不是假开源。体积上官方配好三档，大中小随你挑。不过今天想把它弄到自己电脑上还得有点动手能力，官方支持的几个工具有的还没进正式版，得自己编译——能下载，跟开箱即用不是一回事。 它干得怎么样？同场对比，Agent 类任务跑得很凶：772 对 644，领先对面一个身位；说错话的比例接近七成压得住，比同场对手高出一大截——不乱编这点比分数更值钱。短板也明明白白：知识问答明显落后，前沿难题拼不过。它是个偏科生：干活利索、不爱瞎编、跑得便宜；知识面、顶级难题不是它的菜。 值不值得，先看需求再看机器。数据不能出门的活、断网也要干的活、天天重度用又有现成硬件的，本地养一个有道理。可这两条好处绝大多数人用不上——我把话撂这儿：对绝大多数人，本地养模型不划算，我自己天天跑内容线，模型的活全在云端。买机器之前先想清楚：这活要聪明还是要重复？一周用几次？手头有没有现成硬件？答错了代价大不大？ 最后提个醒：以后谁跟你报一个数，你就多问一句——跑起来用多少？只报总参数的，就是在耍流氓。装多少、跑多少，两个数一起看，你才看得懂一个模型。 ## 常见问题 ### Ling-3.0-tiny 为什么能在 Mac mini 上跑？ 它总参数 7.9B 但用了稀疏架构：128 个专业单元每次推理只激活 8 个加 1 个常驻（共约 1.3B），且四层注意力里三层换成低成本扫读。激活参数小、内存峰值官方自报约 8.34GB，所以小电脑兜得住——但 Mac mini 的具体速度官方没给数。 ### 激活参数和总参数有什么区别？ 总参数是「装多少」——整个模型的份量，全得装进内存，决定内存底线；激活参数是「跑多少」——每次推理实际动用的部分，决定速度快慢和耗电。Ling-3.0-tiny 装 7.9B、跑 1.3B，差六倍。以后看模型要问两个数，只报总参数就是在耍流氓。 ### 有必要在本地部署大模型吗？ 先看需求：数据不能出门、断网也要干活、天天重度用且有现成硬件，本地养一个有道理。但「数据不出门、断网能用」这两条绝大多数人用不上——对绝大多数人，本地养模型不划算，买机器前先算清这活要聪明还是要重复、一周用几次、答错代价大不大。 > 视频不在本站托管，正片见上方平台链接；本页是目录与注解。