NVIDIA GTC Berlin：本地 AI 设备，推理加速

1. 从个人 PC 到团队系统

RTX Spark 是于 10月16日推出的 Windows 个人 PC 平台。据公司公布的信息，它提供最高 128GB 统一内存和 1 petaflop 的 AI 算力，即每秒 1千兆次运算。据介绍，可下载的桌面智能体应用 Underdog 在设备内运行模型，使用户数据不离开 PC。

面向开发者的 DGX Spark 64GB 系统将于 10月23日起通过合作伙伴开始供货，可运行 Qwen3.8 27B 等模型。

DGX Spark 可通过内置网络和连接工具将多个系统组合起来。据公司公布的信息，手动配置的集群最多可包含 8 台设备，提供 1TB 统一内存，可供小型团队共享同一模型，同时各自开展工作。

据公司公布的信息，面向团队的 DGX Station 配备 748GB 统一内存和最高 20 petaflops 的 AI 算力，使用 GLM 5.3 等模型时，可为超过 30 名用户提供与云端模型相近的响应速度。

2. llama.cpp 和 vLLM 的加速结果

NVIDIA 与 llama.cpp 和 vLLM 开源社区合作，加速智能体任务的推理。核心是改进推测解码，即预先猜测后续输出以加快生成。vLLM 还新增了加速 Qwen 模型输入处理计算的内核，即负责特定计算的优化代码。

据公司公布的信息，在 llama.cpp 中，Qwen 3.8 Flash Next 的智能体任务在 RTX PRO 6000 Blackwell 上最高加速至 1.4 倍。这是在 Windows 下使用 Q4_K_M 量化这一以较低精度表示数值的技术，与 9月1日版本比较任务完成时间的结果。

据公司公布的信息，在 vLLM 中，Qwen3.8 27B 的智能体任务在 DGX Spark 上最高加速至 1.3 倍。该数值来自本地智能体基准测试完成时间与 9月1日配置的比较。

据公司公布的信息，DGX Station 上 GLM 5.3 Flash 的吞吐量，即一定时间内处理的任务量，最高提升至 1.2 倍。这是以 9月1日配置为基准，对编码基准测试中并发请求数为 8·16·32 时的解码吞吐量取平均所得的结果。

这三个倍数对应的模型、设备和测量指标不同，不能据此直接排列性能高低。

3. 扩充本地模型和运行资源

Recursive Superintelligence 发布了面向编码任务的本地模型 Recursive Flint。该模型共有 400亿个参数，即决定模型行为的已学习数值，但每个 token 只激活其中 25亿个参与计算。据公司公布的信息，它在 64GB RTX Spark 上的速度超过每秒 220 个 token。

据公司公布的信息，专用内核在不改变模型权重，即训练确定的模型内部数值的情况下，将 RTX Spark 的生成速度提高了 55%。模型权重已按 Apache 2.0 许可证公开，可在从个人 PC 到开发者系统的 NVIDIA 本地硬件上运行。

NVIDIA 还发布了降低内存占用的模型权重包。Qwen3.8-Flash-Next-FP4-Local 可在单台 DGX Spark 128GB 上运行。这种方式通过减少模型占用的内存，为处理对话上下文留出空间。

4. 管理多台设备和多个模型的功能

NVIDIA Sync 支持最多 8 台 DGX Spark 的配置，并新增了连接两台基于 Linux 的 DGX Station 的功能。

Model Launcher 预计于本月底提供。该工具会下载适合系统配置的模型和容器，并将其连接到 OpenCode；容器是打包运行所需程序和配置的单元。开发者选定模型后，可以减少配置运行环境并将其接入工作工具的步骤。

基于 Linux 的 DGX Station 还计划提供 NVIDIA Cloud Functions 的早期访问。团队可将本地模型端点，即访问模型功能的地址，登记到共享列表，并通过一个兼容 OpenAI 的入口访问。NVIDIA 表示，成员由此无需直接登录设备即可使用共享模型，也可在不修改应用代码的情况下更换端点的模型。

5. 性能与运维负担的转移

团队在将数据保留在本地的同时获得共享模型的好处，代价是承担集群手动配置和设备管理工作。连接工具和模型运行工具的作用就是减少这些工作。性能加速的同时扩展管理功能，其原因也可从多名开发者共用本地资源的环境中找到。

此次发布的重心在于，从个人运行模型，转向团队共享和管理本地推理资源的阶段。