千问 27B 本地部署:24G 显存够不够、适合谁
千问 27B 适不适合普通人本地部署?一句话:有 24G(显存加内存)、又愿意调思考档就合适——4-bit 量化后 17 到 19G 整台装得下,原生中文、原生多模态能看合同照片,Apache-2.0 许可,Ollama 一条命令上手。这集把它和 8B 小模型、云端会员、海外同尺寸逐个比,并说清哪四类人别装。
这期讲了什么
- 普通人选本地大模型的五件合身条件,千问 27B 全占:装得下(4-bit 量化后 17–19G,24G 显存或 24G 内存的 Mac 都能装)、中文母语、原生多模态能看合同照片、Apache-2.0 许可、Ollama 一条命令上手
- 对照一圈:8B 级没眼睛也干不动长活,是没 24G 时的替代答案;云端会员文件要出门、月月交钱、断网就哑;Meta Muse Glimmer-30B 和谷歌 Gemma 4-31B 都没验证过中文;英伟达 Nemotron 是常驻省电的另一用途
- 默认坑:思考档出厂开在最高,Simon Willison 实测默认档画一只鹈鹕先想 21 分钟,关掉思考两分多钟画完——装完头一件事把「想太多」调成「别想太多」
- 四条硬边界:没 24G 别装(Steam 七月调查 24G 显存的卡只占约 1.2%)、只想聊天别装、不愿调思考档别装、急性子别装(实测每秒蹦 15–30 字)
- 判断口径说明:这是核了模型卡、量化档位表和社区实测之后做的判断,不是作者亲测体验
文字稿
为什么选千问 27B:五件合身条件
大模型,大家都觉得越大的越强,得用在线版。文件要过别人的手——忍了;月月交钱——也忍了。可你家里那台带显卡的电脑,现在就能跑一个模型:不花钱,文件不出门,质量还跟线上那些顶级模型差不多,甚至更好。
上集聊过它强不强,这集只回答一个问题:家里要装大模型,为什么更该选千问 27B。三天前它开源了:Ollama 一条命令、LM Studio 一个 App、魔搭国内直连,社区量化版下载快两百万次。装,已经不是问题;选谁,才是。
这十分钟就当往家里搬一件大家电:师傅送货上门给你装好,可装好不等于会用。咱们按搬家的次序来,先进门看五样,再比一圈,最后说清楚什么时候别装。
挑大模型跟在超市货架前挑东西一个道理。普通人图啥?装得进你的电脑、说得上中文、能开图看你的文件、许可干净、装完能上手。这五样,千问 27B 全占,证据一样一样看。
先看装不装得下。4-bit 量化后 17 到 19 个 G,24G 显存的显卡、24G 内存的 Mac,整台装得下。注意这是显存加内存的总账,不是只看显卡。怎么查?就查一个数:这条总账够不够装下它,够就进门,不够别硬塞。还有个坑:它的眼睛要单独占差不多一个 G。
再说中文。它叫千问,本来就是中文训练出来的,说中文是它的母语,不用先翻成别的语言再想。怎么验?装完开口问一句日常话,它答得像不像人,当场知道。上代同款的中文考试 91 分,这一代没有单独的中文榜,我不编。这行别小看,你的合同、作业、体检单全是中文。
还有一样最容易漏——能不能看你的文件。27B 天生带眼睛,原生多模态:合同 PDF、家里的照片、拍张作业,直接喂给它看。官方自测三项最低也在 85 分往上,这是官方自测不是独立评测;海外开发者实测,它给照片里的东西画框又准又快。
保质期条款呢?27B 这一档的许可是 Apache-2.0,最宽松那一档:装完就是你的,商用、改造、做衍生品都行,不用回头找它签字。同系列有个大家伙是自定义许可,条款里挂着条件,那另说。
说明书这条,装已经不是问题:上架不到两天,Ollama 一条命令、LM Studio 一个 App、魔搭国内直连,四条路全通。但出厂默认藏了个坑:思考档开在最高,装完第一晚要做一个动作,把『想太多』调成『别想太多』。这个坑多大,后面细说。
和 8B、云端、海外同尺寸比一圈
五样查完它全齐,那货架上其它几件为什么不那么合身?挨个看。先是小一号的 8B 级:它小,压完几个 G,8G 的电脑整台装下,这是它最大的好;但它没有眼睛,官方卡上写的是纯文本,照片、扫描件一概看不见,长一点的活也干不动。话分两头:没有 24G 的正确答案不是 27B,是 8B 级——8B 里也有国产同门,许可一样宽松,换过去不折腾。
再看云端会员。它赢在省事,手机装个 App 打开就能聊;但你在乎的那三件事它一件都给不了:文件要出你的门,合同体检单在别人后厨过手;月月交钱,断网就哑。本地是自家开火,食材不出门。速度也别骗自己:云端明显快于本地,第三方榜单的数据,本地怎么折腾都比不上。还有句老实话,本地装的是功能子集——官方云端版默认一百万上下文、带官方工具,可官方自己写着即将上线,还没得用。所以收一句:图省事、高频聊天,云端更对;在乎文件不出门、不订阅、断网能用,才轮到本地。
上代千问呢?同门同尺寸:同样的 24G、同样的折腾,官方卡内对照,干活线比上代强一大截——为什么不装这代?上代只适合一种人:电脑里已经装好、不想动的。
然后是真能叫板的:Meta 新出的同尺寸模型 Muse Glimmer-30B。它不差,官方速度表上快三倍上下,还自带压好的档位和加速器,上手动作比千问快。它输在中文:模型卡只写支持一百多种语言,没列中文榜,官方自己也没验证过中文表现。普通中国人装它图什么?图中文环境里处理文件。这家新餐馆招牌写着一百多种口味,菜单翻到底没有一道中文菜——不是他家菜不行,是没人替你验证过。
谷歌那款 Gemma 4-31B 呢?同为装得下、许可干净,看着是正经候选。但中文榜没它,干活线在 Meta 自己卡的对照里也落后——诚实说,这条最陪跑,它 31B 那档连音频都不支持。
还有上一集讲的英伟达 Nemotron。它俩不是谁替谁:你要挂个管家二十四小时常驻待命,选那款,省电;你要用的时候干活,选 27B。两种用法,不打架。
比完一圈说结论:27B 不是单项冠军——速度输云端,体积输 8B,省电输那款常驻的。它赢在五样同时够得着:普通人要的从来不是单项最好,是别掉链子。真正能叫板的就两个:云端会员和 Muse;8B 是没 24G 时的替代答案,不是同档对手。
四类人别装:24G 门槛和思考档的坑
这里有个新锤,今天凌晨刚出的。做了二十多期本地模型实测的海外开发者 Simon Willison,在自家两台高端机器上测了 27B——一台 128G 内存的苹果笔记本,一台英伟达小主机,都不是普通人的 24G。他画一只骑自行车的鹈鹕:默认档下模型先想了一阵,精确点说 21 分钟才动手;同一台机器关掉思考,同样的事两分多钟画完。
所以这句推荐是有边界的,命中任何一条对你不成立,不装也没错。最硬的一条:没有 24G,别装。8G 的电脑连最小的档都放不下,16G 只能上掉点最狠的应急档。按 Steam 的七月调查,24G 显存的卡加起来只有百分之一出头——精确点说百分之一点二左右,还不算 Mac 和办公电脑。能装的本来就是少数人。没 24G 怎么办?要么 8B 级,要么干脆别装。
再一种:只想聊天,别装。本地 27B 聊天打不过手机里免费的云端 App——更快、更聪明、不用折腾。为聊天装本地,等于花钱买一个更慢的聊天窗。它卖的是替你干活:读 PDF、看图、整理文档。
还有一种:装了但不肯调思考档,别装。前面那个默认坑,不调的人装完第一晚会觉得它是不是坏了然后卸载——海外开发者原话,默认设置不是正确的打开方式。装完头一件事把『想太多』调成『别想太多』,官方给了三档,调低或关掉都行,调完它才变回那个又快又能干活的它。
还有急性子:等不了,别装。它每秒蹦十五到三十个字,是海外开发者在高端机上测出来的,普通 24G 只会更慢——慢是内存带宽的物理账,不是你装坏了。急性子别折磨自己:要么云端秒回,要么换个心态离线慢慢读文件。
最后一条软的:还没想好让它干什么,先别装。为装而装是花钱买一个吃灰的聊天窗。装之前先写下一件非聊天的事——读哪份合同、整理哪批照片、离线总结哪批文件,写不出来就别装。
真要装,装之前先问自己三句:机器有没有 24G,显存加内存一起算?要它干的那件非聊天的事想好了吗?愿不愿意花一个周末调它,关思考、选档位?三关全过再动手。普通人决定自己装一个大模型,千问 27B 是当下最适合的那一个——不是它最强,是这五样它样样都够得着;前提是有 24G,并且愿意把它调成『别想太多』。最后交代一句:这个推荐是我核了模型卡、量化档位表、社区实测之后做的判断,不是我装完跑出来的体验。我自己本地实际跑到什么程度,评论区交代,下期补。
常见问题
千问 27B 需要多大显存?
看显存加内存的总账,不是只看显卡:4-bit 量化后 17 到 19G,24G 显存的显卡、24G 内存的 Mac 整台装得下;它的多模态「眼睛」还要单独占差不多一个 G。没有 24G 就别装,正确答案是 8B 级小模型——按 Steam 七月调查,24G 显存的卡只占约 1.2%。
千问 27B 本地部署怎么装?
四条路全通:Ollama 一条命令、LM Studio 一个 App、魔搭国内直连,社区量化版下载已近两百万次。装完头一件事必须做:把默认开在最高的思考档调低或关掉,否则会觉得它「坏了」——Simon Willison 实测默认档画一只鹈鹕先想 21 分钟,关掉思考两分多钟画完。
本地大模型和云端会员哪个好?
看你的核心需求。图省事、高频聊天,云端更对——更快、更聪明、不用折腾。在乎文件不出门、不交订阅费、断网能用,才轮到本地。还要知道本地装的是功能子集:官方云端版默认一百万上下文带官方工具,本地给不了;反过来云端要把文件送出门、月月交钱、断网就哑。