腾讯 AuK 语音模型是什么？改词不重录

这期讲了什么

• 腾讯混元开源语音模型 AuK：1.5B、MIT 协议、权重可整份下载；官方在线试用页无需安装，截稿时权重下载 2390 次、259 个赞
• 核心区别是「改存量」：多数工具把整句重新生成，AuK 直接改你已录好的那条音频，气口连着、音色不变
• 15 类任务一个入口：文字转语音、改词改歌词、调音高语速音量、改情绪音色口音、降噪去混响抠人声；官方性能图语音编辑一栏 13.85/12.44，别家 7.04/4.69
• 显存门槛：默认跑一次 24.78 GB，省内存模式 16.75 GB，是在数据中心计算卡上量的；Mac 支持还挂在单独分支，M4 Pro 上 8 比特量化压到 6.1 GB，代价是 6 秒音频要算 36 秒
• 官方写明的其他短板：8 比特可以、4 比特中文发音明显变差；绘图工作流工具里源音频加目标总长不能超 30 秒；开源一周多、960 星、没有正式版本号

文字稿

AuK 是什么：改已经录好的音频，不是重新生成

腾讯混元开源了一个语音模型，叫 AuK。你把一段录好的音频丢进去，打一句话说把哪个词换成哪个词，换完还是原来那个人的声音，情绪和语气都不动。官方仓库里还挂着一张表，一件一件往下列，列了满满一屏。

录过口播就知道，一个词念错，前面那段白录。重录一遍，气口和状态全变了，剪回去总接不上。AuK 干的就是这件事。官方挂了个在线试用页，打开就能玩；本体文件也能整份下到自己机器上，这东西叫权重。一个免费的、能干 15 件事的语音模型，为什么你身边还没人在用它？

官方那张性能对比图里，语音编辑那一栏，AuK 两档是 13.85 和 12.44，另外几家是 7.04 和 4.69，这是公开测试打的分，越高越好；海外那个模型托管站上，截稿的时候权重被下载了 2390 次，259 个赞。

先纠正一个最容易的误会。你听到语音模型，脑子里出来的大概是一个文字转语音的工具：你打字，机器念给你听。AuK 也能干这个，可真正想让你干的是另一件事，改你已经录好的那条音频。以前想改一句话，常见的做法是把整句重新生成一条；新生成的那条，是模型模仿出来的音色，跟原件终究不一样。AuK 改的是原件本身，出来的还是同一条音频，只是你指的那一处变了。

15 类任务走同一个指令入口

官方仓库的说明文档里，有一张任务总表，15 件事分成 5 大类，全走同一个入口。生成那一类，是文字转语音；内容编辑那一类，改词、改歌词，但旋律和嗓音留着；声学编辑那类管音高、语速、音量；副语言编辑那类管情绪、音色、口音，连呼吸、笑声、咳嗽、耳语都能调；最后一类是增强和分离，降噪去混响、只留一个人说话、从伴奏里把人声抠出来。

挑三件最有用的说。改词——录完发现把「今天」说成了「明天」，打一句话，那个词就换了，声线跟着原来说话的人走。改情绪——同一句话，让它从平静改成兴奋，前后两句话的语气还对得上。从伴奏里抠人声——一段带背景音乐的录音，单独拿出人声，不用重新找人配一遍。这三件事，原本是三套工具、三个网站、三次上传下载。

上手有三条路。最快的是官方在线试用页，写稿这天还开着，不用装任何东西。再一条是把权重整份下到自己机器上，这里有个坑：除了 AuK 本体，还得再下一个阿里千问的 3B 多模态模型，就是文字和声音都能读的那种，两个一起才转得起来。苹果自家芯片那套跑模型的框架也在做，但那条路还没走完。

官方还放了一个快速版，叫 AuK-Flash，4 步出结果，同等条件下快 4.5 倍。赶时间就用快速版，要细节就用标准版。

和现成做法的区别：改原件、权重在手、一个入口

东西免费，能干的事也摆在那儿，正常来说早该有人在用了，可实际上身边一个用的都没有。这就要说它和现成的那些差在哪了。

最根本的一条：改存量，不是重新生成。现在想给一段录好的话换个词，多数工具的做法是把整句话打进模型，让它照着原来说话人的音色再念一遍——新出来的那条，是模型模仿的声音，不是原来那份录音里的声音。AuK 换的是已经录好的那条音频本身，气口连着，音色连着，只有你点的那一处变了。

还有一样别人给不了的，权重在你自己手上。协议是 MIT，想怎么用就怎么用、拿去做生意也行；整份权重能下到自己机器里，那段不想给外人听的录音，可以一步都不出你的硬盘。在线的省事，代价是文件得传上去；本地的麻烦，换来的是不传。

一个入口管 15 件事，这是最后一样。降噪的工具、变声的工具、配音的工具，平时得开三个窗口，文件来回倒；AuK 这边是同一套指令接口，全在一个模型里排队。你打的那句话会先过一层，把大白话要求翻译成模型指令——这一层叫它指令翻译器，默认开着，也能关掉。

这也轮不到厂家自己夸：一个国际语音会议明年办的音频编辑挑战赛，单模型赛道的基线，用的就是 AuK。办比赛的人挑基线，挑的是经得起别人拿它比的模型。

同一张性能图得一栏一栏看。这张图是厂家自己画的，天生对自己有利：语音编辑那一栏，AuK 把差距拉到近两倍；换个栏目就不一样了，降噪那一档，两边数字挨得很近。技术报告里自己也写了实话——生成和编辑上领先，信号修复这类只是有竞争力。

官方写明的短板：显存、Mac 分支和量化

这串好处都有价钱，而且价钱是官方自己写在文档里的。

最硬的一条是显存——显存就是显卡上自己的内存，模型跑不跑得起来先看这一条。官方表里给的是：默认设置下跑一次要 24.78 GB；打开省内存的开关，还要 16.75 GB，只省下 8 GB 出头。这个数是在一张数据中心专用的计算卡上量出来的，普通家用机器，先别当伸手就能拿的东西。

苹果那条路，现在还挂在一个单独的分支上。官方确实做了苹果自家芯片那套跑模型的框架，但那段代码没并进主线。翻译成大白话：想在 Mac 上用它，得自己知道去那个分支上找，还得接受随时会有改动。

真要在 Mac 上跑，账本上的数字挺劝退。一次性转换出来的权重差不多 28 GB，放在一台 M4 Pro、48 GB 内存的机器上实测，默认精度峰值 24.3 GB；换成 8 比特——把每个数字存得粗一点、占地方就小——再开顺序加载，才压到 6.1 GB。代价落在速度上：官方给的 RTF 是 6，6 秒的音频要算 36 秒。这种把数字存粗一点的做法，正式名字叫量化，官方自己补了句实在话：量化买到的是内存，不是速度。

4 比特这件事，官方给了句原话：用 8 比特，别用 4 比特。理由是实测出来的——压到 4 比特之后，英文还转写得对，中文发音明显变差。

零碎的小坎还有几处。塞进那款开源绘图工作流工具里用的时候，源音频加上要生成的目标，两头长度加起来不能超过 30 秒。在自己机器上用大白话下指令，那个指令翻译器得单独配一个大模型的密钥，官方给的是腾讯云自己的服务；在线试用页上这层已经配好了，关掉也能跑，只是得自己写明要生成多长。云端转写是可选的，不配也能跑，代价是会在本地下载一个小模型顶上。

最后一条是年龄。这个仓库开源到今天才一周多，截稿的时候 960 个星标、7 条待处理的问题和改动请求，仓库页上连一个正式版本号都没有。这不算缺点，算事实：现在上手，等于陪一个刚出生的项目往前走。

把这一圈串起来，判断只有一句：免费的是权重，不是门槛。今天就能做的一件事：拿自己的一段录音，去官方在线试用页上，只试一句「把某个词换成某个词」，不用装东西，不用配环境，看它改完的声音跟原来像不像。试完再决定，要不要为它去折腾显卡。

常见问题

AuK 和普通 AI 配音有什么区别？

普通做法是把你打的字或整句话重新生成一条音频，出来的是模型模仿的音色。AuK 改的是你已录好的那条音频本身，只动你指定的那一处，气口连着、音色连着、情绪不动。

腾讯 AuK 免费吗，能本地跑吗？

免费。协议是 MIT，商用也行，整份权重能下到自己机器上，录音一步都不出硬盘。但本地跑要 24.78 GB 显存（省内存模式 16.75 GB），还得另下一个阿里千问 3B 多模态模型；官方在线试用页不用装东西，打开就能试。

在 Mac 上能跑 AuK 吗？

能，但苹果芯片的支持还挂在单独分支，没并进主线。M4 Pro、48 GB 内存的机器实测：默认精度峰值 24.3 GB，8 比特量化加顺序加载能压到 6.1 GB，代价是 RTF 6——6 秒音频要算 36 秒。官方建议用 8 比特、别用 4 比特，4 比特会让中文发音明显变差。