# Nemotron 3.5 Lightning 本地部署配置要求

- URL: https://davidyin.dev/video/bv1tagj6qewl/
- 作者: David Yin
- 发布: 2026-08-12T22:21:04+08:00 · 更新: 2026-09-29
- 时长: 10:44
- 平台: B 站 https://www.bilibili.com/video/BV1Tagj6QEwL · YouTube https://www.youtube.com/watch?v=LuG3kcU1KtQ
- 标签: Nemotron 3.5 Lightning、英伟达、本地大模型、开源模型、DGX Spark
- 摘要: 英伟达开源模型 Nemotron 3.5 Lightning：300 亿参数每次只激活 30 亿，为常驻本地电脑的智能体设计。视频讲清两种权重（BF16 约 65.8GB、NVFP4 约 21.6GB）各要什么机器、OpenMDW 许可证的限制和官方自测短板，以及被点名的 DeepSeek V4 Flash 等国产模型。

## 这期讲了什么

- 英伟达 2026 年 8 月 11 日发布开源模型 Nemotron 3.5 Lightning：300 亿参数每次只激活 30 亿（混合 MoE 架构），为常驻本地电脑、一天 24 小时待命的智能体设计，做小是为了省显存省电
- 两种权重：BF16 全精度约 65.8GB 需 80GB 服务器卡（H100/A100）；NVFP4 推理版约 21.6GB，要 DGX Spark（128GB 统一内存，官方价约 4700 美元）或顶配 RTX 5090（32GB）才塞得进——官方眼里的「本地」不是随便一台电脑
- 底子：预训练喂超 20 万亿 token、从旗舰 Nemotron 3 Ultra 提炼而来；标称上下文 100 万 token（单卡部署实际按 25.6 万用）；只收文字看不了图
- 官方自测（无第三方复现）：出词比同级开源最多快 4 倍、智能体任务快约 30%；但 PinchBench 85.37 低于 Qwen 3.6 的 88.07，SWE-bench Verified 51.56 远低于 70.12
- 许可证是英伟达自定的 OpenMDW-1.1 而非 Apache/MIT，开放权重不等于开源；官方博客点名 DeepSeek V4 Flash 和 GLM 5.2 把云端智能带到本地，同日 Meta 还发了 30B 本地智能体模型 Muse Glimmer（Apache 2.0、支持图文）

## 文字稿

### 为常驻你电脑而生的开源模型

英伟达是做显卡芯片的，不靠做模型吃饭，可这回它自己发了个开源模型还免费让你下——全称英伟达 Nemotron 3.5 Lightning，主打本地运行。一家芯片公司亲自做模型，图的不是打榜赢，是想让 AI 住进你自己的电脑。

住进你电脑上班是什么感觉？平时用 AI，想到什么问一句，问完网页一关，下一回它不记得你是谁。这一代要的 AI 不一样：一直开着、认得你这台机器，自己翻你的文件、盯你的日程、替你管密码，干一整天的活，数据都不出门。想常驻，模型就得做小做快做省电，小到一张显卡能一直养着它——Nemotron 3.5 Lightning 就是照着这条道走的。

2026 年 8 月 11 日英伟达官宣它，定位是长期运行智能体工作负载里同类最高效率——它是来常驻的，不是来露脸的。发布当天两种权重一起挂出：BF16 全精度版给想自己再加工的人当起点，NVFP4 推理优化版给想直接上手跑的人。一个 300 亿参数的模型每次干活只激活 30 亿——靠混合 MoE 架构，几类网络层交错拼在一起，每次只唤醒一小队。做小是因为它要长住你家机器，得省显存、省电、省等待。它不是新手：预训练喂进去超过 20 万亿 token，后训练补到 2026 年 5 月，官方说它从自家更大的旗舰 Nemotron 3 Ultra 身上提炼而来；代价是只收文字只吐文字，看不了图。官方标称一次能记住的内容最高 100 万 token，不过单张服务器卡部署时实际按 25.6 万来用。

### 扛回家要多大机器：权重和显存的账

英伟达官方自测说，出词速度比同级开源模型最多快 4 倍，完成同一批智能体任务快约 30%，同一时间能干的活最多多 4 倍——这些都是官方自测，没有第三方复现过。

它的许可证叫 OpenMDW-1.1，不是常见的 Apache 或 MIT。开放权重不等于开源：你能拿到模型文件，但用起来有条款；模型卡上写可商用是英伟达自家声明，真到用时以许可条款为准。

权重上架了 Hugging Face、ModelScope、OpenRouter 三个平台，还能在英伟达 NIM 微服务上在线调用；SGLang 发布当天就支持，vLLM、TensorRT-LLM、Ollama、llama.cpp、LM Studio 都在列表里。跑它的路子不少，门槛主要在机器。

说体重：BF16 全精度权重约 65.8 GB，NVFP4 推理优化版约 21.6 GB，都是官方仓库页面直接标的。现在最强的消费级显卡 RTX 5090 显存 32 GB——装不下 65.8 GB 的全精度版，只有 21.6 GB 的推理版才塞得进，还得是顶配；常见的 24G 显卡更别指望。英伟达自己的桌面盒子 DGX Spark 有 128 GB 统一内存，官方价约 4700 美元。官方模型卡写得明白：BF16 版要一张 80 GB 显存的服务器卡 H100 或 A100，NVFP4 版要一台 DGX Spark 或一张 H100——官方眼里的本地，不是随便一台电脑。装得下还得跑得动，发热、功耗、速度才是天天要面对的事；急着要低延迟用 DGX Spark，追求最高吞吐官方说今天先别开投机解码。

### 官方点名的国产模型和同日撞车的 Meta

门槛设这么高，它图什么？英伟达官方博客里有一行字把答案写在明面上，点名了两款国产模型——DeepSeek V4 Flash 和 GLM 5.2，原话说它们正把云端级智能带到本地系统，紧接着还有半句：跑这些更大的模型可能需要多张 GPU 或多台 DGX Spark 协同。两句话连起来读才完整：国产模型把云端级智能带到本地是真的，可要跑起来机器也更夸张。博客里还专门给了 DeepSeek V4 Flash 的数字：2840 亿参数、每次激活 130 亿、100 万 token 上下文，社区做的 GGUF 版今天就能在 DGX Station 上本地跑。国产模型已经站在本地 AI 这条赛道的前排——它们跑得越欢，你越得换更大的机器，英伟达图的就是让这波本地 AI 立起来。

同一天 Meta 也发了个 30B 的本地智能体模型叫 Muse Glimmer，不搞混合省电那套、参数每次一起上，Apache 2.0 许可、上下文 12.8 万左右，还支持图文输入，比 Nemotron 多了一双眼睛。两家巨头撞在同一天还都挑 30B 体量，不是商量好的，是方向摆在这儿。

### 官方自测里的短板和本地 AI 的意义

Nemotron 3.5 Lightning 到底多能打，官方自己的模型卡数字得接着看：PinchBench 精度 85.37，Qwen 3.6 是 88.07，官方嘴里精度相近实际略低；写代码的 SWE-bench Verified 只有 51.56，Qwen 3.6 是 70.12，差得明显。这些都是官方自测，官方自己注明跟各家厂商报的可能有出入。加上只处理文字看不了图，「全能」两个字别往它身上安。同日还发了个小件 NeMo Switchyard，开源的模型路由库，自动把智能体每一步的活派给最合适的模型；官方内部基准说跑同样的活成本能降到约三分之一，同样没有第三方复现。

最后说清醒话：小模型不是要取代云端旗舰，是去干高频、专用、本地那一摊——天天要用的、不着急惊动云端的、数据又不想出门的，都交给它。省下的不只是钱，是隐私、是响应速度、是东西在自己手里的那份踏实。日程、文件、密码全交给云端，等于把家钥匙放在别人那儿。本地化这条路走通以后，选择权一点点回到你手上；普通人真正能感知的变化，是以后手机和电脑上能离线干活的 AI 功能会越来越多，今天这批模型就是给那批功能铺路的。

## 常见问题

### Nemotron 3.5 Lightning 本地跑要什么配置？

官方模型卡写明：BF16 全精度版（约 65.8GB）要一张 80GB 显存的服务器卡 H100 或 A100；NVFP4 推理版（约 21.6GB）要一台 128GB 统一内存的 DGX Spark 或一张 H100。RTX 5090（32GB）在支持清单里但只对应推理版，常见 24GB 显卡跑不了。

### 开放权重和开源是一回事吗？

不是。开放权重只给你模型文件，用起来有条款。Nemotron 用的是英伟达自定的 OpenMDW-1.1 许可证，不是 Apache 或 MIT；模型卡上写可商用是英伟达自家声明，实际使用以许可条款为准。

### 本地大模型比云端 AI 好在哪？

本地模型干的是高频、专用、数据不想出门的活：日程、文件、密码不用交给云端，等于家钥匙不放别人那儿。省下的是隐私、响应速度和踏实感；它不是要取代云端旗舰，是接住那些不该惊动云端的日常活。

> 视频不在本站托管，正片见上方平台链接；本页是目录与注解。