关于智能体式 AI 的讨论，往往把注意力放在负责规划的前沿推理模型上。
NVIDIA 借 Nemotron 3.5 Lightning 提出的观点是：对智能体的大多数实际工作而言，前沿模型并非合适的工具。
长期运行的智能体大部分 token 预算都花在工具调用、结果校验和分派子智能体上，而在这些步骤中每次都运行前沿模型既昂贵又缓慢。
Nemotron 3.5 Lightning 于 2026 年 8 月 11 日发布，是一款开放的 300 亿参数混合专家（MoE）模型，每个 token 仅有 30 亿激活参数，直指这一执行层。
NVIDIA 声称它在 Artificial Analysis Intelligence Index 上取得了准确度与速度的帕累托最优，并报告相较于同等规模模型可实现最高 4 倍的输出速度。其在宽松的 OpenMDW-1.1 许可下发布，权重、训练数据与配方一并开放。
本文将梳理 Nemotron 3.5 Lightning 的全部新内容，介绍其功能并探讨相关基准。如果您想看看相近规模的 MoE 模型在实践中的表现，我们的教程在医疗问答数据集上微调 Qwen3.6带您从头到尾走一遍工作流程。
Nemotron 3.5 Lightning 一览
- Nemotron 3.5 Lightning 是一款开放的 300 亿参数 MoE 模型，30 亿激活参数，发布于 2026 年 8 月 11 日，面向常驻智能体的高吞吐执行层。
- NVIDIA 声称其输出速度最高可达同等规模模型的 4 倍，且在相近准确度下，1 万个任务的完成速度比 Qwen3.6-35B 快 30%。
- 关键基准（BF16）：SWE-bench Verified 51.56，PinchBench 85.37，GPQA Diamond 75.44，MMLU Pro 81.94。
- 在 OpenMDW-1.1 许可下发布，附带权重、数据与配方，可运行于从 Jetson 到 DGX Spark 再到数据中心的多种硬件。
- NeMo Switchyard 将执行工作路由给 Lightning，而把规划交给 Nemotron 3 Ultra 等前沿模型。
什么是 Nemotron 3.5 Lightning？
Nemotron 3.5 Lightning 是 NVIDIA Nemotron 3 开放模型家族中体量最小的一员，专为自主智能体中的高吞吐、低延迟执行而构建。
它采用Mamba-2 + MoE + 注意力的混合架构，总参数 300 亿、每个 token 激活 30 亿，支持最长 100 万 token 的上下文长度。
MoE 设计是其速度之源。
路由器会将每个 token 仅发送给少数几个专家，因此每个 token 实际运行的参数只是全部参数的一小部分。
您能以小模型的计算成本，获得大规模稠密模型的容量。这与 Qwen3.6-35B-A3B 以 30 亿激活参数实现的权衡类似。
NVIDIA 的核心主张并非单一分数，而是位置：在综合 9 项评测（涵盖智能体任务、编程、科学推理与通用智能）的 Artificial Analysis Intelligence Index 上，Lightning 位于小型开源模型的准确度-速度帕累托前沿。
直白说，同等体量中，没有模型能同时比它更准且更快。
Nemotron 3.5 Lightning 有哪些新变化？
所有功能都围绕一个目标：让智能体的常规工作跑得更快，同时不在准确度上“翻车”。
以下是您可以实际做的事。
在本地硬件上运行能打的智能体
由于模型足够小，可部署在 NVIDIA DGX Spark、GeForce RTX 5090 或 Jetson 上，您可以在桌面端而非数据中心运行智能体工作负载。
NVIDIA 与 EXO Labs 合作在 DGX Spark 上对 Lightning 进行了剖析，并报告其在 EXO Labs local.ai 榜单上位于小型开源模型的帕累托前沿。
对实践者而言，这意味着负责工具调用和结果校验的常驻智能体可以在您现有的硬件上运行。
它也可通过 LM Studio、llama.cpp、Ollama 和 Unsloth 提供服务，因此一经发布，本地工具链就已相当成熟。
用 NeMo Switchyard 将执行向下、规划向上路由
NVIDIA 与模型一同发布了 NeMo Switchyard，这是一套将每个请求路由至“足以胜任且最有效率的模型”的库。
Switchyard 将 Nemotron 3.5 Lightning 暴露为与您其他开源或闭源模型并列的路由目标，因此规划会被路由到像 Nemotron 3 Ultra 这样的前沿模型，而执行则路由给 Lightning。
实际收益是 token 效率。
与其为一次 git pull、一次工具输出校验或一次结果格式化支付前沿模型的费用，不如把这些调用落到便宜的模型上，把昂贵的模型留给主导质量、但并不占量的困难规划步骤。
开箱即定制
小模型微调更快、更省、更易在普通硬件上完成，而 Lightning 就是为适配特定工作而生。
NVIDIA 在 OpenMDW-1.1 许可下发布了权重、训练数据与配方，您可以使用 LoRA 或通过 NeMo Automodel 与 NeMo Megatron Bridge 做完整 SFT，也可以用 NeMo RL 与 NeMo Gym 做强化学习。
此次发布还包含 Nemotron-RL Agentic Terminal Pivot，这是一个开放的智能体强化学习数据集，用于训练部分编程智能体行为。
这里有一点面向社区的说法值得标注。
MindStudio 报告称，合作方可在不到 3 小时内、约 100 美元成本完成微调——这种改造成本只有在此规模的模型上才说得通。
推测式解码，提升吞吐
Lightning 通过推测式解码每步生成多个 token：先由草稿模型提出候选 token，再进行高效复核。
其经历了专门的预训练阶段，将多 token 预测（MTP）“烘焙”进模型，随后又进行了 MTP 增强阶段，与Nemotron 3 Super 与 Ultra 采用的方法相同。
除 MTP 外，NVIDIA 还提供了两种草稿模型。
DSpark 推荐用于 DGX Spark 与低并发数据中心负载，MTP 适合中高并发，同时还提供了 DFlash 草稿模型，便于您根据服务模式跑分对比。
Nemotron 3.5 Lightning 基准测试
NVIDIA 同时报出了 BF16 与 NVFP4 两个检查点的分数，两者在大多数任务上的走势接近——这很重要，因为 NVFP4 是您实际会部署的量化检查点。以下数据来自 NVIDIA 的模型卡与发布博文。撰写时尚无独立第三方复现实验，因此请将这些视为厂商发布数据。
SWE-bench Verified
在 SWE-bench Verified 上，Lightning 分别取得 51.56（BF16）与 52.80（NVFP4）。该基准评测模型是否能通过生成可运行的代码补丁来解决真实 GitHub 问题。对于一款 300 亿参数、30 亿激活参数的 MoE 模型而言，突破 50% 是一个扎实成绩，直接支撑编程智能体的用例。
SWE-bench Multilingual 得分较低，为 39.33（BF16），这在更复杂的多语言代码库背景下是意料之中。
PinchBench 与任务效率
在 PinchBench 上，Lightning 达到 85.37（BF16）与 83.43（NVFP4），而 OpenRouter 报告称其在相近准确度下完成 1 万个任务的速度比 Qwen3.6-35B 快 30%。
这项基准最能体现模型的真正卖点，因为智能体效率归根到底在于模型完成“有用工作”的速度，而非原始 token 生成速度。
与 Qwen3.6 的对比值得多看一眼。我们评测Qwen3.6-35B-A3B 时，曾提到它的 30 亿激活参数以及在 SWE-bench 与 Terminal-Bench 上的强势表现，因此 NVIDIA 选它作为参照，是同级对位的直接比较。
GPQA Diamond 与推理
在不使用工具的情况下，Lightning 在 GPQA Diamond 上取得 75.44（BF16），这是一组研究生水平的科学问题，即便可上网，对于非专家也很难。
对小模型而言，这是个亮眼的数字，不过模型卡也明确说明 Lightning 并未定位为推理引擎。
Humanity's Last Exam（纯文本、无工具）则从另一面说明问题，得分为 11.72（BF16），而 SciCode 为 32.60。
这些较低分数与 NVIDIA 的定位一致：这是执行型模型，开放式的高难推理应路由给前沿模型。
智能体能力与指令跟随
Terminal-Bench 2.1 得分 24.58（BF16），BrowseComp 为 36.97，而 IFBench（loose）达到 71.88，显示模型能可靠地遵循结构化指令。
通识能力同样稳健：MMLU Pro 为 81.94（BF16）与 81.62（NVFP4），二者差距微乎其微，证实量化检查点可安心部署。
Nemotron 3.5 Lightning 与 Qwen3.6-35B-A3B 对比
两者都是 30 亿激活参数的 MoE 模型，面向编程与智能体工作负载，因此并排对比最能看清 Lightning 的位置。
| 属性 | Nemotron 3.5 Lightning | Qwen3.6-35B-A3B |
|---|
| 总参数 / 激活参数 | 300 亿 / 30 亿 | 350 亿 / 30 亿 |
| 上下文窗口 | 最长 100 万 token | 262K token |
| SWE-bench Verified | 51.56（BF16） | 强（见我们的评测） |
| 许可 | OpenMDW-1.1（开放） | 开放 |
| 定位 | 智能体的执行层 | 编程、推理、长上下文 |
Nemotron 3.5 Lightning 的价格与可用性
您可以在 build.nvidia.com 或通过 OpenRouter 试用 Nemotron 3.5 Lightning，并从 Hugging Face 与 ModelScope 下载权重。通过 NVIDIA NIM，模型提供与 OpenAI 兼容的端点，包括 /v1/chat/completions、/v1/completions 与 /v1/responses，可无缝接入现有的智能体流水线，无需重写。
托管价格因提供商而异：
- DeepInfra：每 100 万输入 token 收费 0.05 美元，每 100 万输出 token 收费 0.20 美元，发布当日即可使用，无需自备 GPU。
- OpenRouter： 提供一个免费层，输入与输出均为 0 美元。但需注意，该路由虽支持 100 万 token 的上下文窗口，却对输出生成施加 65,536 的最大 token 上限。
- 自托管：在 OpenMDW-1.1 许可下免费，可通过 vLLM、SGLang 与 TensorRT-LLM 部署。
值得注意的是 OpenRouter 的上限。100 万的上下文长度是模型能力，但您能获得的实际上限取决于提供商与路由，因此在假定拥有完整窗口之前，请先确认端点约束。
结语
Nemotron 3.5 Lightning 体现了 NVIDIA 的一个明确押注：未来的生产级智能体是多模型系统，廉价的执行模型承担体量，前沿模型负责规划。与模型同发的 NeMo Switchyard 就是信号，因为只有能智能路由，模型的定位才成立。
我认为最有用的是其对边界的诚实。NVIDIA 并未把它包装成推理模型，基准也印证了这一点：SWE-bench Verified（51.56）与 PinchBench（85.37）表现强劲，Humanity's Last Exam（11.72）较为一般。如果您的工作负载是常驻智能体的工具调用、校验与格式化，这样的取舍恰到好处。
在 OpenMDW-1.1 许可下开放发布权重、数据与配方，加之检查点足够小，能在 DGX Spark 上运行，这对希望微调并自托管、而非按 token 计费的团队而言，确实有用。主要需要注意的是，当前所有基准数据均为厂商发布，我会在独立复现出现之前，谨慎看待“4 倍速度与 30% 更快完成”的说法。
如果您想掌握将此类模型微调到自有工作负载的技能，我们的教程在医疗问答数据集上微调 Qwen3.6，以相近的 MoE 模型逐步讲解 QLoRA 流程。
关于智能体式 AI 的讨论，往往把注意力放在负责规划的前沿推理模型上。
NVIDIA 借 Nemotron 3.5 Lightning 提出的观点是：对智能体的大多数实际工作而言，前沿模型并非合适的工具。
长期运行的智能体大部分 token 预算都花在工具调用、结果校验和分派子智能体上，而在这些步骤中每次都运行前沿模型既昂贵又缓慢。
Nemotron 3.5 Lightning 于 2026 年 8 月 11 日发布，是一款开放的 300 亿参数混合专家（MoE）模型，每个 token 仅有 30 亿激活参数，直指这一执行层。
NVIDIA 声称它在 Artificial Analysis Intelligence Index 上取得了准确度与速度的帕累托最优，并报告相较于同等规模模型可实现最高 4 倍的输出速度。其在宽松的 OpenMDW-1.1 许可下发布，权重、训练数据与配方一并开放。
本文将梳理 Nemotron 3.5 Lightning 的全部新内容，介绍其功能并探讨相关基准。如果您想看看相近规模的 MoE 模型在实践中的表现，我们的教程在医疗问答数据集上微调 Qwen3.6带您从头到尾走一遍工作流程。
Nemotron 3.5 Lightning 一览
什么是 Nemotron 3.5 Lightning？
Nemotron 3.5 Lightning 是 NVIDIA Nemotron 3 开放模型家族中体量最小的一员，专为自主智能体中的高吞吐、低延迟执行而构建。
它采用Mamba-2 + MoE + 注意力的混合架构，总参数 300 亿、每个 token 激活 30 亿，支持最长 100 万 token 的上下文长度。
MoE 设计是其速度之源。
路由器会将每个 token 仅发送给少数几个专家，因此每个 token 实际运行的参数只是全部参数的一小部分。
您能以小模型的计算成本，获得大规模稠密模型的容量。这与 Qwen3.6-35B-A3B 以 30 亿激活参数实现的权衡类似。
NVIDIA 的核心主张并非单一分数，而是位置：在综合 9 项评测（涵盖智能体任务、编程、科学推理与通用智能）的 Artificial Analysis Intelligence Index 上，Lightning 位于小型开源模型的准确度-速度帕累托前沿。
直白说，同等体量中，没有模型能同时比它更准且更快。
Nemotron 3.5 Lightning 有哪些新变化？
所有功能都围绕一个目标：让智能体的常规工作跑得更快，同时不在准确度上“翻车”。
以下是您可以实际做的事。
在本地硬件上运行能打的智能体
由于模型足够小，可部署在 NVIDIA DGX Spark、GeForce RTX 5090 或 Jetson 上，您可以在桌面端而非数据中心运行智能体工作负载。
NVIDIA 与 EXO Labs 合作在 DGX Spark 上对 Lightning 进行了剖析，并报告其在 EXO Labs local.ai 榜单上位于小型开源模型的帕累托前沿。
对实践者而言，这意味着负责工具调用和结果校验的常驻智能体可以在您现有的硬件上运行。
它也可通过 LM Studio、llama.cpp、Ollama 和 Unsloth 提供服务，因此一经发布，本地工具链就已相当成熟。
用 NeMo Switchyard 将执行向下、规划向上路由
NVIDIA 与模型一同发布了 NeMo Switchyard，这是一套将每个请求路由至“足以胜任且最有效率的模型”的库。
Switchyard 将 Nemotron 3.5 Lightning 暴露为与您其他开源或闭源模型并列的路由目标，因此规划会被路由到像 Nemotron 3 Ultra 这样的前沿模型，而执行则路由给 Lightning。
实际收益是 token 效率。
与其为一次
git pull、一次工具输出校验或一次结果格式化支付前沿模型的费用，不如把这些调用落到便宜的模型上，把昂贵的模型留给主导质量、但并不占量的困难规划步骤。开箱即定制
小模型微调更快、更省、更易在普通硬件上完成，而 Lightning 就是为适配特定工作而生。
NVIDIA 在 OpenMDW-1.1 许可下发布了权重、训练数据与配方，您可以使用 LoRA 或通过 NeMo Automodel 与 NeMo Megatron Bridge 做完整 SFT，也可以用 NeMo RL 与 NeMo Gym 做强化学习。
此次发布还包含 Nemotron-RL Agentic Terminal Pivot，这是一个开放的智能体强化学习数据集，用于训练部分编程智能体行为。
这里有一点面向社区的说法值得标注。
MindStudio 报告称，合作方可在不到 3 小时内、约 100 美元成本完成微调——这种改造成本只有在此规模的模型上才说得通。
推测式解码，提升吞吐
Lightning 通过推测式解码每步生成多个 token：先由草稿模型提出候选 token，再进行高效复核。
其经历了专门的预训练阶段，将多 token 预测（MTP）“烘焙”进模型，随后又进行了 MTP 增强阶段，与Nemotron 3 Super 与 Ultra 采用的方法相同。
除 MTP 外，NVIDIA 还提供了两种草稿模型。
DSpark 推荐用于 DGX Spark 与低并发数据中心负载，MTP 适合中高并发，同时还提供了 DFlash 草稿模型，便于您根据服务模式跑分对比。
Nemotron 3.5 Lightning 基准测试
NVIDIA 同时报出了 BF16 与 NVFP4 两个检查点的分数，两者在大多数任务上的走势接近——这很重要，因为 NVFP4 是您实际会部署的量化检查点。以下数据来自 NVIDIA 的模型卡与发布博文。撰写时尚无独立第三方复现实验，因此请将这些视为厂商发布数据。
SWE-bench Verified
在 SWE-bench Verified 上，Lightning 分别取得 51.56（BF16）与 52.80（NVFP4）。该基准评测模型是否能通过生成可运行的代码补丁来解决真实 GitHub 问题。对于一款 300 亿参数、30 亿激活参数的 MoE 模型而言，突破 50% 是一个扎实成绩，直接支撑编程智能体的用例。
SWE-bench Multilingual 得分较低，为 39.33（BF16），这在更复杂的多语言代码库背景下是意料之中。
PinchBench 与任务效率
在 PinchBench 上，Lightning 达到 85.37（BF16）与 83.43（NVFP4），而 OpenRouter 报告称其在相近准确度下完成 1 万个任务的速度比 Qwen3.6-35B 快 30%。
这项基准最能体现模型的真正卖点，因为智能体效率归根到底在于模型完成“有用工作”的速度，而非原始 token 生成速度。
与 Qwen3.6 的对比值得多看一眼。我们评测Qwen3.6-35B-A3B 时，曾提到它的 30 亿激活参数以及在 SWE-bench 与 Terminal-Bench 上的强势表现，因此 NVIDIA 选它作为参照，是同级对位的直接比较。
GPQA Diamond 与推理
在不使用工具的情况下，Lightning 在 GPQA Diamond 上取得 75.44（BF16），这是一组研究生水平的科学问题，即便可上网，对于非专家也很难。
对小模型而言，这是个亮眼的数字，不过模型卡也明确说明 Lightning 并未定位为推理引擎。
Humanity's Last Exam（纯文本、无工具）则从另一面说明问题，得分为 11.72（BF16），而 SciCode 为 32.60。
这些较低分数与 NVIDIA 的定位一致：这是执行型模型，开放式的高难推理应路由给前沿模型。
智能体能力与指令跟随
Terminal-Bench 2.1 得分 24.58（BF16），BrowseComp 为 36.97，而 IFBench（loose）达到 71.88，显示模型能可靠地遵循结构化指令。
通识能力同样稳健：MMLU Pro 为 81.94（BF16）与 81.62（NVFP4），二者差距微乎其微，证实量化检查点可安心部署。
Nemotron 3.5 Lightning 与 Qwen3.6-35B-A3B 对比
两者都是 30 亿激活参数的 MoE 模型，面向编程与智能体工作负载，因此并排对比最能看清 Lightning 的位置。
Nemotron 3.5 Lightning 的价格与可用性
您可以在 build.nvidia.com 或通过 OpenRouter 试用 Nemotron 3.5 Lightning，并从 Hugging Face 与 ModelScope 下载权重。通过 NVIDIA NIM，模型提供与 OpenAI 兼容的端点，包括
/v1/chat/completions、/v1/completions与/v1/responses，可无缝接入现有的智能体流水线，无需重写。托管价格因提供商而异：
值得注意的是 OpenRouter 的上限。100 万的上下文长度是模型能力，但您能获得的实际上限取决于提供商与路由，因此在假定拥有完整窗口之前，请先确认端点约束。
结语
Nemotron 3.5 Lightning 体现了 NVIDIA 的一个明确押注：未来的生产级智能体是多模型系统，廉价的执行模型承担体量，前沿模型负责规划。与模型同发的 NeMo Switchyard 就是信号，因为只有能智能路由，模型的定位才成立。
我认为最有用的是其对边界的诚实。NVIDIA 并未把它包装成推理模型，基准也印证了这一点：SWE-bench Verified（51.56）与 PinchBench（85.37）表现强劲，Humanity's Last Exam（11.72）较为一般。如果您的工作负载是常驻智能体的工具调用、校验与格式化，这样的取舍恰到好处。
在 OpenMDW-1.1 许可下开放发布权重、数据与配方，加之检查点足够小，能在 DGX Spark 上运行，这对希望微调并自托管、而非按 token 计费的团队而言，确实有用。主要需要注意的是，当前所有基准数据均为厂商发布，我会在独立复现出现之前，谨慎看待“4 倍速度与 30% 更快完成”的说法。
如果您想掌握将此类模型微调到自有工作负载的技能，我们的教程在医疗问答数据集上微调 Qwen3.6，以相近的 MoE 模型逐步讲解 QLoRA 流程。