NVIDIA 在面向 Kubernetes 的 GPU 平台配置工具中集成了 AI 工作负载清单采集器。平台运维团队可在同一部署流程中,管理可复现的基础设施部署与实际检测到的模型及运行环境信息。
1. 连接配置管理与运行清单
NVIDIA AI Cluster Runtime(AICR)是 DSX AI 工厂平台的开源模块。指定云平台、加速器、操作系统和用途后,它会生成锁定版本的部署规范,即配方,以及安装所需的文件。该规范可与实际集群状态对照验证。
此次集成使 Google 开发的开源工具 k8s-aibom 成为 AICR 已验证组件的一部分。AICR 将源代码、安装包、控制器及自动化集群操作的组件镜像等锁定到特定版本和内容,组成统一测试对象。它会检查构建来源与权限设置,并测试从安装到升级、卸载的流程。
两种工具关注的对象不同。AICR 检查 GPU 基础设施是否按已知配置部署,k8s-aibom 则采集集群中已识别 AI 工作负载的资产信息。该组合使基础设施的部署意图与其上发现的工作负载信息得以并列查看。即使镜像标签相同,也可能因节点或镜像下载时间不同而指向不同代码。因此,仅靠固定的基础设施配方无法追踪工作负载的变更。
2. 记录检测到的 AI 资产及依据
k8s-aibom 观察 Kubernetes 工作负载及其运行单元 Pod 的信息。它为每个已识别的 AI 工作负载生成 AI 资产清单,采用用于交换软件组成信息的 CycloneDX 1.6 格式。
支持范围不仅包括推理服务,还包括智能体、检索增强生成(利用检索结果生成回答的方式)配置、向量数据库(通过语义相似度查找信息的存储系统)、训练任务和评估工具。
若子工作负载由父任务创建,则将其归入父任务的文档,以减少重复记录。
清单包含从工作负载中确认的模型、容器镜像、运行环境等属性及判断依据。模型运行参数中明确指定的名称标记为直接声明的值,从镜像或惯用环境变量中读取的信息则标记为推断值。
无法判定的值也会单独标记。签名验证是通过签名确认来源与变更的过程。若满足运维团队设定的信任标准及签名者条件并通过验证,可为模型信息赋予验证等级。NVIDIA 的默认配置关闭了此项验证。
3. 在配方中选择并标记命名空间
博客介绍的 AICR v1.2.0 目录将 k8s-aibom 固定为 1.6.2。复现示例时,应使用与该目录匹配的命令行工具。
示例环境是运行 Kubernetes 1.32 及以上版本的 Google Kubernetes Engine(GKE)集群。使用 H100 和容器优化操作系统(COS)的两个推理配方默认选择清单采集器,生成其他 GKE 配方时也可选择。生成配方的命令如下。
aicr recipe \
--service gke \
--accelerator h100 \
--os cos \
--intent inference \
--output recipe.yaml安装后,需为命名空间添加标记,命名空间是集群内划分资源的分区。系统会为标记区域中识别到的受支持工作负载生成清单。
4. 采集开销与运维考量
据公司公布的信息,原项目使用 k8s-aibom v1.6.1,在 GKE 的 NVIDIA Dynamo 及 AICR 配置中进行了测量。测试在仅使用 CPU 的节点上进行,工作负载 Pod 一直保持 Pending(未运行)状态,稳态观测持续 15 分钟。由于工作负载 Pod 并未成功运行,这些数值反映的是清单采集控制器的开销。
表:控制器稳态资源使用量
条件:k8s-aibom v1.6.1、GKE、NVIDIA Dynamo 及 AICR 配置、仅使用 CPU 的节点、工作负载 Pod 保持 Pending(未运行)、15 分钟稳态观测
单位:API 服务器请求为次/分钟,CPU 为毫核,内存为 MiB
| 项目 | 数值 |
|---|---|
| API 服务器请求(约) | 4 |
| 控制器平均 CPU 使用量 | 2.2 |
| 控制器实际内存使用量 | 28–34 |
这些数值反映清单采集控制器的开销,而非 AI 模型的处理性能。作为独立的资源分配基准,Chart 的默认资源请求量为 CPU 50 毫核、内存 128MiB,观测开销低于此值。默认请求量不是测量结果,也未被确认为 v1.6.1 测试采用的设置值。同一测试中,更改工作负载的镜像标签后,清单重新生成了一次。
控制器会在内存中保留整个集群的 Pod 配置及直接写入配置的环境变量值,包括未标记为清单生成目标的区域。默认配置未启用向外部存储传输或访问秘密值。
5. 连接部署意图与观测结果
清单仅包含受支持类型且具有可识别 AI 信号的工作负载,并且可能在 Pod 下载镜像之前就显示为就绪。因此,它是已声明内容与可确认信息的清单,而非确认调度或运行成功的结果。
要对照 AICR 配方的部署意图与运行环境中观测到的资产清单,需要共同的资产标识符(区分资产的唯一标记)、信息时效性标准,以及基础设施与工作负载的范围对应关系。NVIDIA 将这一连接列为后续集成任务。
此次集成的实际价值在于,为可复现的 GPU 部署补充 AI 资产依据,让运维团队有了联合审视基础设施与工作负载的起点。
