英伟达发布了2位视觉语言模型，面向希望在个人设备上运行能够读取屏幕并调用工具的人工智能的开发者。其目标是节省内存，以便与其他程序同时运行。

1. 哪些任务在本地处理

Bolt于2026年10月15日发布，可接收文本、图像和视频，并输出文本。

模型采用混合专家架构，总参数量为740亿，每次激活其中90亿个参数进行计算。它不会每次计算所有部分，而是选择所需部分使用。

主要用途是将网页浏览、终端操作与工具调用串联起来的本地智能体。模型提出工具执行请求后，由应用程序执行并返回结果，因此仅部署模型并不意味着完成了任务自动化。

根据OpenMDW-1.1许可证，可用于商业及非商业用途。

2. 不另选小模型，而是压缩大模型

研究团队使用Star Elastic缩减了参数量为1200亿的上级视觉语言模型。这种压缩方法根据内存预算，选择各层的专家数量和内部宽度。随后应用量化感知蒸馏，在训练中修正低精度带来的误差。专家权重以IQ2_XXS格式存储，每个元素占2.0625位，但部分层保留了更高精度。

在受测设备上，从内存读取权重的带宽是运行速度的主要限制。通过结构压缩与低精度存储减少权重的内存占用，也能减少需读取的数据，有助于加速推理。

好处是在有限内存中容纳大模型的能力。代价则是不仅要做简单的文件转换，还需额外训练，以恢复压缩后的视觉理解与智能体能力。英伟达表示，在相同内存预算下，这比从头训练小模型再压缩为4位更有优势。

模型卡中的终端任务评测得分为Bolt 50.98、Qwen3.6 44.38。但在部分知识准确性与幻觉抑制项目中，Bolt低于Qwen，因此不能将这项智能体评测的优势推广到整体准确性。

3. 从准备阶段开始核对运行示例

以下是模型卡指定的vLLM最低版本对应的容器与内核准备示例。完整的服务器启动命令位于原文的快速入门章节，下方代码不能替代该命令。

docker run -it --name vllm --gpus all --ipc=host -p 8000:8000 \
  --entrypoint /bin/bash \
  vllm/vllm-openai:nightly-77154ca6116ae34cbfe314beef1016bde9b63989

pip install b12x
vllm download-kernels

应区分24GB的模型大小与实际运行所需的内存。最大上下文为256K令牌。问题、图像、对话历史、工具结果与生成的回答共用这一空间，部署时可根据可用内存及并发请求数缩减。面向内存预算的结构搜索条件是1个请求和128K上下文，因此并不意味着24GB内存能保证运行最大上下文。

可以开启或关闭思考推理。思考过程与最终回答共用输出令牌预算，因此若回答因长度限制而被截断，也应检查输出预算。

4. 结合运行条件解读速度数据

技术博客中的速度测试对所有模型均使用了相同的128GB内存设备。

编码吞吐量在AIPerf SPEED-Bench-Coding中通过控制输入长度测得。AA-AgentPerf Local则测量了多条智能体任务路径的完整回放时间。前者越高越好，后者越短越好。

该模型采用IQ2_XXS量化和LiLiCorr草稿模型后，编码吞吐量为每秒83.99令牌，任务路径回放时间为600.80秒。草稿模型是先提出后续令牌候选、以加速推理的辅助模型。

作为代表性基准模型，Qwen3.6在这两项指标上分别达到每秒96.63令牌和453.97秒。Gemma 4则为每秒100.56令牌和480.68秒。在该设备与运行条件下，Bolt的吞吐量低于这两个小型混合专家模型，回放时间也更长。

不过，它比每秒28.26令牌、回放时间1043.28秒的Qwen3.8更快。

比较条件核对：准确性评测名为Terminal-Bench 2.1，对比对象是NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB(IQ2)，以及采用16位数值格式BF16的Qwen3.6-35B-A3B。该准确性对比与低精度速度测试的条件不同。

运行条件核对：速度在RTX Spark(Surface Laptop Ultra, 128GB)上，使用llama.cpp和Windows 11 ARM x64测得。对比模型Qwen3.6 35B-A3B、Gemma 4 26B-A4B、Qwen3.8 27B均采用UD-Q4_K_M量化。前两个模型采用MTP加速推理，最后一个采用DFlash。量化与加速方式不同，因此不能据此判断模型本身的优劣。

5. 部署前确认支持范围

模型卡摘要也将A100和H100-80GB等列为部署对象。

但软件集成章节明确列出Blackwell SM120、SM121与Linux。支持范围的表述并不一致，因此应核对实际目标设备的运行方案。

Bolt在终端任务智能体评测中的得分高于Qwen3.6，但在另一项速度实验中慢于两个小型混合专家模型，因此选择时应同时考察特定智能体任务的评测结果与响应速度。