NVIDIA Dynamo 的 AICR：经验证的运行时，部署前检查

1. 统一适配推理图之下的基础组件

NVIDIA Dynamo 是一个分布式推理框架，用于协调跨多个 GPU 工作进程的模型服务。要运行它，GPU 驱动、资源分配、任务调度、网络和监控都必须相互配合。

NVIDIA AI Cluster Runtime（AICR）是一个开源项目，以配方形式将这些基础软件与 Dynamo 一并提供。配方相当于运行环境的组装说明书，列明要安装的组件、配置和检查项目。

每份配方都针对特定环境和任务固定组件版本及兼容性条件。它还记录配置值、运行节点的条件和验证预期结果，帮助重建相同环境。英伟达表示，已在指定平台和硬件上对配方中的版本组合进行联合测试。

2. 根据基础设施运维主体选择两种路由路径

一种路径由 Dynamo Frontend 将请求直接发送给工作进程。它根据保存先前请求计算结果的 KV 缓存的可复用性及当前负载选择工作进程。该路径适合由应用团队管理各模型的访问端点，或将请求交给现有代理服务器转发的情况，在两种方式中配置更简单。

另一种路径将管理请求入口的 Gateway API 与负责选择工作进程的 Dynamo EPP 结合。网关将请求发送到选定的工作进程后，其旁边的辅助进程会将请求转交给该工作进程。该路径适合由平台团队管理多个模型的入口路径、超时、重试和回退行为的情况。

两种路径都使用工作进程报告的 KV 缓存状态。它们将具有相同前缀的请求发送给已有计算结果的工作进程，从而减少重复的中间计算。

3. 从选择配方推进到运行时检查

AICR 将运行时安装与应用部署分离。首先创建记录配置状态的集群快照，再生成适合发行版、GPU 及 GPU 节点操作系统的推理配方。

aicr snapshot \
  --namespace aicr-validation \
  --output snapshot.yaml

下表列出了面向特定 GPU 系统和云环境的配方所选用的组件版本。其重点不是汇集各工具的最新版本，而是复现在相应环境中经过联合测试的组合。

AICR v1.0.0 中面向 NVIDIA GB200 NVL72 和 NVIDIA GB300 NVL72 系统的 Amazon EKS 配方

将这一组合制作为部署包并安装后，执行部署检查和符合性检查。检查通过后，再安装应用配置并测试推理访问端点。安装可使用 Helmfile，AICR 还会生成用于 GitOps 的部署包，按照仓库中的配置管理部署。

4. 通过检查结果确认应用部署前的基础环境

检查项目因配方而异，Dynamo 的检查通常涵盖集群资源和 GPU 可用状态、平台组件状态、GPU 访问、任务调度与自动扩缩容，以及监控指标。使用网关的配方还会检查请求入口的就绪状态。

离线检查将其他集群的快照与配方条件进行对照，并跳过实际运行检查。性能验证因临时服务任务会使用被检 GPU，需单独执行。

配方和事前检查降低了反复适配基础设施组合的负担，但仍需共同运维和管理版本固定的各组件。选择共享入口路径可集中管理请求转发策略，但也会增加网关、工作进程选择器和辅助进程等运维对象。

AICR 的核心不在于 Dynamo 的推理功能，而在于规范其底层运行时，并在应用部署前检查符合性。