NVIDIA 介绍了支持强化学习训练答案生成和推理工作节点运维的 Dynamo 架构。Dynamo 是处理模型请求的软件层,即服务层。它将多个生成请求分配给工作节点,减少重复输入计算和权重更新的负担,并在节点故障时转移请求。构建强化学习系统的开发团队可以保留现有训练框架,同时独立运行生成基础设施。

1. 答案生成速度影响训练进度

强化学习根据奖励改进模型。推理工作节点将模型输出、动作以及与环境的交互串联成数据。这些生成结果称为 rollout,训练框架对其进行评估,更新权重后再传给工作节点。因此,所需数据的收集速度和新权重的分发会影响下一训练步骤。

不同任务给工作节点带来的实际负担不同。推理问题可能只需生成一个答案,而编程智能体则要完成仓库探索、编辑、工具调用和测试。即使请求数量均等,完成时间也可能不同。在需要等待一批样本的训练中,最后完成的任务会推迟下一步骤的开始。

同一任务的多次尝试也可能共享指令或仓库信息等输入前缀。反复计算这些输入,会在生成新答案前消耗 GPU 资源。

训练中产生的新权重必须在算法要求的时点到达工作节点。NVIDIA 提出的三项任务是缩短所需样本的完成时间、减少重复前缀的重新计算,以及及时传送新权重。

2. 将训练框架与推理运维分离

Dynamo 位于协调 rollout 的训练框架与推理工作节点之间,将请求发送到合适的处理资源。实际的模型生成由推理引擎负责。在这一架构中,训练框架管理优化、奖励、环境、保存训练状态的检查点,以及用于训练的样本。

Dynamo 负责路由、工作节点管理和服务控制,并观测节点状态。ModelExpress 通过受支持的集成分发模型权重和产物。生成请求路径与权重更新路径相互独立。框架决定更新对象,并控制应用时点和样本采纳,因此即使将服务运维分离,训练规则仍保留在框架中。

3. 同时考虑缓存与工作节点负载

多次处理相同输入时,将请求发给已持有该输入的工作节点,可减少前缀的重新计算。但若持续只选择有缓存的节点,队列会变长,拖慢整体完成速度。Dynamo 的路由器同时考虑存储已计算键值的 KV 缓存所带来的复用收益和各节点负载,旨在减少重复计算与等待。

在权重分发方面,ModelExpress 复用集群中已有的权重,减轻从远程存储重新加载的负担。兼容的工作节点之间可使用 NIXL 在 GPU 显存间复制权重。GPU 间复制会使用集群内的权重和通信资源。

它也支持增量传输,即压缩并发送更新部分,而非整个模型。这能减少传输量,但工作节点必须具备与变更部分对应的基准权重,才能构建新状态。训练框架继续管理更新应用时点和样本有效性。

4. 应对工作节点故障,扩大实际应用范围

Dynamo 检测到工作节点丢失后,会将新请求发送给其他可用节点,并在替代节点就绪后将其加入路由。替代节点可加载检查点,再应用后续变更,以跟上训练进度。在受支持的配置中,也提供迁移进行中的请求或平稳清空节点的功能。

NVIDIA 介绍的应用案例包括 Microsoft AI 的后训练 rollout 推理、Cognition 的 SWE-1.7 后训练工作节点管理与路由,以及 Prime Intellect 的分布式推理任务协调。CoreWeave 表示,通过 Dynamo 和 ModelExpress,权重更新最高加速 15倍。H Company 表示,使用这两款工具后,平均训练步骤耗时最多减少 20%,GPU 使用时间最多减少 5%。各公司公布的 15倍指权重更新速度,20% 指单个训练步骤的耗时,5% 指 GPU 资源用量,属于不同的改进指标。所需样本完成较慢、重复输入计算较多或权重分发较慢,会分别影响负载均衡、缓存复用和分发优化的优先级。

列出的开源集成对象包括 verl、NeMo RL、Slime 和 prime-rl。其方向并非替换现有强化学习框架,而是将这些系统与推理服务层连接使用。

Dynamo 的核心在于将训练决策权留给框架,在服务层协调重复生成、权重分发和工作节点恢复。