英伟达 Nemotron 3.5 Bolt E4B 评测：4GB 显存的本地智能体

Bolt E4B 的目标场景写在名字里：对话与工具调用发生在本地设备上，不经过云端模型。英伟达将其定位为语音助手、交互角色与机器人接口的语言部件，演示中 Reachy Mini 机器人在 8GB 的 Jetson Orin Nano 上本地运行，Bolt 负责对话，Cosmos 负责视觉。

1. 发布方：英伟达，2026 年 10 月 23 日发布
2. 参数与起点：8B 总参数、4B 有效参数，起点为谷歌 Gemma 4 E4B-it
3. 训练方法：可验证奖励强化学习（RLVR）与人类反馈强化学习（RLHF），工具为 NeMo-RL 与 NeMo-Gym，数据集与完整配方公开
4. 上下文与语言：64K 上下文，支持 35 种语言，基座模型预训练覆盖 140 多种语言
5. 模式开关：对话模式可切换为简短语音友好回复，推理模式可开可关
6. 价格与协议：权重免费下载，OpenMDW-1.1 协议，允许商业使用
7. 下载与运行：Q4_K_M 的 GGUF 文件约 6.18GB，另有 BF16 版本；渠道为 Hugging Face、Ollama、LM Studio、Unsloth、Canonical 与 Jetson AI Lab，运行方式为 llama.cpp
8. 名字含义：4GB 指英伟达给出的目标显存占用，不是文件大小；实测显存占用随硬件与上下文长度变化，见下一节

英伟达研究页公布 21 项基准，全部为 BF16 分数，在自家 NeMo-Gym 评估框架中测得，同一基准内各模型使用同一推理模式。整体结论由英伟达给出：平均分比上一代 Nemotron 3 Nano 4B 高约 40%，比同级其他模型高约 10%，推理模式对比中输出 token 最多少约 80%。以下逐项列出可比分数，领先与落后并列。

1. 角色对话 RoleBench：Bolt E4B 67.0，Gemma 4 E4B 49.9，Qwen 3.5 4B 53.7，Nano 4B 12.0
2. 角色一致 RoleMRC：Bolt E4B 80.6，Gemma 4 E4B 74.6，Qwen 3.5 4B 65.8，Nano 4B 47.0
3. 多轮对话 MultiChallenge：Bolt E4B 53.1，Gemma 4 E4B 42.1，Qwen 3.5 4B 51.8，Nano 4B 35.3（英伟达 BF16）
4. 指令层级 IHEval：Bolt E4B 84.8，Gemma 4 E4B 67.0，Qwen 3.5 4B 60.6，Nano 4B 51.3
5. 指令遵循 IFBench：Bolt E4B 63.8，Gemma 4 E4B 42.8，Qwen 3.5 4B 58.9，Nano 4B 60.1（英伟达 BF16）
6. 函数调用 BFCL-v3：Bolt E4B 68.5，Gemma 4 E4B 66.4，Qwen 3.5 4B 70.9，Nano 4B 61.1
7. 多轮客服任务 Tau2-Bench：Bolt E4B 55.1，Gemma 4 E4B 38.5，Qwen 3.5 4B 75.1，Nano 4B 29.2
8. 长上下文 RULER 64K：Bolt E4B 87.0，Gemma 4 E4B 86.5，Qwen 3.5 4B 95.1，Nano 4B 91.5
9. 长提示 LongBench v2：Bolt E4B 50.5，Gemma 4 E4B 49.3，Qwen 3.5 4B 59.9，Nano 4B 31.4
10. 跨对话记忆 LongMemEval：Bolt E4B 72.1，Gemma 4 E4B 70.9，Qwen 3.5 4B 66.8，Nano 4B 25.2

速度与显存来自英伟达公布的 Q4_K_M 实测，llama.cpp、批量为 1、输入约 3K token、输出 50 token：RTX 5070 占用 3.5GB 显存，首 token 548 毫秒，133.4 token/秒；RTX Spark 占用 3.1GB，首 token 930 毫秒，67.0 token/秒；Jetson AGX Orin 占用 4.2GB，首 token 3687 毫秒，24.0 token/秒；Jetson Orin Nano 8GB 占用 4.2GB，首 token 5785 毫秒，15.5 token/秒。保留 32K 上下文时，RTX 5070 占用升至 4.3GB，Jetson Orin Nano 升至 4.9GB。DFlash 推测解码草稿模型可让吞吐比 Gemma 4 E4B 原有 MTP 草稿模型最高高 21%。

两家独立榜单给出可对照的外部数字，评估方法与英伟达自测不同，分数不直接并入厂商平均分。Scale Labs 的 MultiChallenge 小模型榜单中，Nemotron 3.5 Bolt E4B（Thinking）以 56.03±6.20 排在第 1 位，标注为新上榜；该分数高于英伟达自测的 53.1，来自 Scale 独立运行的评估。Artificial Analysis 的 IFBench 评估页中，推理版 Bolt E4B 得分为 61.1%，低于英伟达自测的 63.8；Artificial Analysis 模型页上该模型的综合智能、速度、成本与冗长度分数目前均为暂无数据。

评分卡的换算方法公开列出：取英伟达 BF16 表中五个维度的代表分数，除以 10 换算为 10 分制；总分取五个维度换算分的平均值。换算分只复述基准分数，不加入编辑判断；独立榜单分数单列，不计入总分。

1. 对话与角色 6.7：RoleBench 67.0 换算，依据为英伟达 BF16 表
2. 指令层级 8.5：IHEval 84.8 换算，依据为英伟达 BF16 表
3. 函数调用 6.9：BFCL-v3 68.5 换算，依据为英伟达 BF16 表
4. 多轮任务 5.5：Tau2-Bench 55.1 换算，依据为英伟达 BF16 表
5. 长上下文 8.7：RULER 64K 87.0 换算，依据为英伟达 BF16 表
6. 总分 7.3：五个维度换算分的平均值（6.7＋8.5＋6.9＋5.5＋8.7）÷5
7. 独立榜单单列：Scale Labs MultiChallenge 小模型组第 1 名，56.03±6.20；Artificial Analysis IFBench 推理版 61.1%，两项均不计入总分

从功能与价格出发，下列团队已可通过公开渠道拿到权重并在本地设备上运行：需要在语音助手、游戏角色或机器人中实现对话加工具调用，且显存预算在 4GB 量级的团队；已有 GeForce RTX、Jetson 或 RTX/DGX Spark 硬件，希望对话数据留在本地设备的开发者；需要按 OpenMDW-1.1 协议商用的团队。反向看，依赖多轮客服任务或 64K 以上长上下文检索的场景，基准表中的落后项需要先在目标任务上复测。