Nemotron 3.5 Lightning 本地部署配置要求
英伟达开源模型 Nemotron 3.5 Lightning：300 亿参数每次只激活 30 亿，为常驻本地电脑的智能体设计。视频讲清两种权重（BF16 约 65.8GB、NVFP4 约 21.6GB）各要什么机器、OpenMDW 许可证的限制和官方自测短板，以及被点名的 DeepSeek V4 Flash 等国产模型。
这期讲了什么
- 英伟达 2026 年 8 月 11 日发布开源模型 Nemotron 3.5 Lightning：300 亿参数每次只激活 30 亿（混合 MoE 架构），为常驻本地电脑、一天 24 小时待命的智能体设计，做小是为了省显存省电
- 两种权重：BF16 全精度约 65.8GB 需 80GB 服务器卡（H100/A100）；NVFP4 推理版约 21.6GB，要 DGX Spark（128GB 统一内存，官方价约 4700 美元）或顶配 RTX 5090（32GB）才塞得进——官方眼里的「本地」不是随便一台电脑
- 底子：预训练喂超 20 万亿 token、从旗舰 Nemotron 3 Ultra 提炼而来；标称上下文 100 万 token（单卡部署实际按 25.6 万用）；只收文字看不了图
- 官方自测（无第三方复现）：出词比同级开源最多快 4 倍、智能体任务快约 30%；但 PinchBench 85.37 低于 Qwen 3.6 的 88.07，SWE-bench Verified 51.56 远低于 70.12
- 许可证是英伟达自定的 OpenMDW-1.1 而非 Apache/MIT，开放权重不等于开源；官方博客点名 DeepSeek V4 Flash 和 GLM 5.2 把云端智能带到本地，同日 Meta 还发了 30B 本地智能体模型 Muse Glimmer（Apache 2.0、支持图文）
文字稿
为常驻你电脑而生的开源模型
英伟达是做显卡芯片的，不靠做模型吃饭，可这回它自己发了个开源模型还免费让你下——全称英伟达 Nemotron 3.5 Lightning，主打本地运行。一家芯片公司亲自做模型，图的不是打榜赢，是想让 AI 住进你自己的电脑。
住进你电脑上班是什么感觉？平时用 AI，想到什么问一句，问完网页一关，下一回它不记得你是谁。这一代要的 AI 不一样：一直开着、认得你这台机器，自己翻你的文件、盯你的日程、替你管密码，干一整天的活，数据都不出门。想常驻，模型就得做小做快做省电，小到一张显卡能一直养着它——Nemotron 3.5 Lightning 就是照着这条道走的。
2026 年 8 月 11 日英伟达官宣它，定位是长期运行智能体工作负载里同类最高效率——它是来常驻的，不是来露脸的。发布当天两种权重一起挂出：BF16 全精度版给想自己再加工的人当起点，NVFP4 推理优化版给想直接上手跑的人。一个 300 亿参数的模型每次干活只激活 30 亿——靠混合 MoE 架构，几类网络层交错拼在一起，每次只唤醒一小队。做小是因为它要长住你家机器，得省显存、省电、省等待。它不是新手：预训练喂进去超过 20 万亿 token，后训练补到 2026 年 5 月，官方说它从自家更大的旗舰 Nemotron 3 Ultra 身上提炼而来；代价是只收文字只吐文字，看不了图。官方标称一次能记住的内容最高 100 万 token，不过单张服务器卡部署时实际按 25.6 万来用。
扛回家要多大机器：权重和显存的账
英伟达官方自测说，出词速度比同级开源模型最多快 4 倍，完成同一批智能体任务快约 30%，同一时间能干的活最多多 4 倍——这些都是官方自测，没有第三方复现过。
它的许可证叫 OpenMDW-1.1，不是常见的 Apache 或 MIT。开放权重不等于开源：你能拿到模型文件，但用起来有条款；模型卡上写可商用是英伟达自家声明，真到用时以许可条款为准。
权重上架了 Hugging Face、ModelScope、OpenRouter 三个平台，还能在英伟达 NIM 微服务上在线调用；SGLang 发布当天就支持，vLLM、TensorRT-LLM、Ollama、llama.cpp、LM Studio 都在列表里。跑它的路子不少，门槛主要在机器。
说体重：BF16 全精度权重约 65.8 GB，NVFP4 推理优化版约 21.6 GB，都是官方仓库页面直接标的。现在最强的消费级显卡 RTX 5090 显存 32 GB——装不下 65.8 GB 的全精度版，只有 21.6 GB 的推理版才塞得进，还得是顶配；常见的 24G 显卡更别指望。英伟达自己的桌面盒子 DGX Spark 有 128 GB 统一内存，官方价约 4700 美元。官方模型卡写得明白：BF16 版要一张 80 GB 显存的服务器卡 H100 或 A100，NVFP4 版要一台 DGX Spark 或一张 H100——官方眼里的本地，不是随便一台电脑。装得下还得跑得动，发热、功耗、速度才是天天要面对的事；急着要低延迟用 DGX Spark，追求最高吞吐官方说今天先别开投机解码。
官方点名的国产模型和同日撞车的 Meta
门槛设这么高，它图什么？英伟达官方博客里有一行字把答案写在明面上，点名了两款国产模型——DeepSeek V4 Flash 和 GLM 5.2，原话说它们正把云端级智能带到本地系统，紧接着还有半句：跑这些更大的模型可能需要多张 GPU 或多台 DGX Spark 协同。两句话连起来读才完整：国产模型把云端级智能带到本地是真的，可要跑起来机器也更夸张。博客里还专门给了 DeepSeek V4 Flash 的数字：2840 亿参数、每次激活 130 亿、100 万 token 上下文，社区做的 GGUF 版今天就能在 DGX Station 上本地跑。国产模型已经站在本地 AI 这条赛道的前排——它们跑得越欢，你越得换更大的机器，英伟达图的就是让这波本地 AI 立起来。
同一天 Meta 也发了个 30B 的本地智能体模型叫 Muse Glimmer，不搞混合省电那套、参数每次一起上，Apache 2.0 许可、上下文 12.8 万左右，还支持图文输入，比 Nemotron 多了一双眼睛。两家巨头撞在同一天还都挑 30B 体量，不是商量好的，是方向摆在这儿。
官方自测里的短板和本地 AI 的意义
Nemotron 3.5 Lightning 到底多能打，官方自己的模型卡数字得接着看：PinchBench 精度 85.37，Qwen 3.6 是 88.07，官方嘴里精度相近实际略低；写代码的 SWE-bench Verified 只有 51.56，Qwen 3.6 是 70.12，差得明显。这些都是官方自测，官方自己注明跟各家厂商报的可能有出入。加上只处理文字看不了图，「全能」两个字别往它身上安。同日还发了个小件 NeMo Switchyard，开源的模型路由库，自动把智能体每一步的活派给最合适的模型；官方内部基准说跑同样的活成本能降到约三分之一，同样没有第三方复现。
最后说清醒话：小模型不是要取代云端旗舰，是去干高频、专用、本地那一摊——天天要用的、不着急惊动云端的、数据又不想出门的，都交给它。省下的不只是钱，是隐私、是响应速度、是东西在自己手里的那份踏实。日程、文件、密码全交给云端，等于把家钥匙放在别人那儿。本地化这条路走通以后，选择权一点点回到你手上；普通人真正能感知的变化，是以后手机和电脑上能离线干活的 AI 功能会越来越多，今天这批模型就是给那批功能铺路的。
常见问题
Nemotron 3.5 Lightning 本地跑要什么配置？
官方模型卡写明：BF16 全精度版（约 65.8GB）要一张 80GB 显存的服务器卡 H100 或 A100；NVFP4 推理版（约 21.6GB）要一台 128GB 统一内存的 DGX Spark 或一张 H100。RTX 5090（32GB）在支持清单里但只对应推理版，常见 24GB 显卡跑不了。
开放权重和开源是一回事吗？
不是。开放权重只给你模型文件，用起来有条款。Nemotron 用的是英伟达自定的 OpenMDW-1.1 许可证，不是 Apache 或 MIT；模型卡上写可商用是英伟达自家声明，实际使用以许可条款为准。
本地大模型比云端 AI 好在哪？
本地模型干的是高频、专用、数据不想出门的活：日程、文件、密码不用交给云端，等于家钥匙不放别人那儿。省下的是隐私、响应速度和踏实感；它不是要取代云端旗舰，是接住那些不该惊动云端的日常活。