NVIDIA 发布了面向自动驾驶、机器人和检测人工智能开发者的训练数据制作工具 Cosmos Data Factory。用户可要求编程智能体从真实视频和图像中寻找所需场景、改变天气,或合成罕见事故与缺陷案例。

原本需要衔接多种工具和手动操作的数据准备,如今可按既定工作流执行,也可按功能组合。开发团队可利用自己的 GPU,在所选云端或自有环境中生成难以通过现场采集获得的案例。

1. 直接执行五种数据制作任务

预先配置的工作流称为蓝图,共有五种:自动驾驶数据集生成、缺陷图像生成、事件视频生成、通过修改原始素材扩充案例的图像属性增强,以及视频数据增强。它们将执行顺序与依赖关系交由 Airflow 管理,部署所需服务,并在多台计算机组成的集群上运行。

自动驾驶工作流会查找相似场景,改变天气或光照,再检查是否符合现实规律,即物理合理性。图像属性增强会改变人物服装和颜色,并添加属性。视频增强在保留场景结构的同时改变环境,为原始与生成视频添加检测、跟踪和描述。

事件视频功能从单张图像生成包含火灾或跌倒等罕见事件的视频。缺陷图像工作流从无缺陷的检测图像或三维资产生成缺陷案例。输出可能包含图像、标记缺陷位置的掩码,以及可追溯生成历史的资料。

2. 从六项功能中选取并组合自有工作流

六项可组合功能包括自动为素材附加标准答案信息的自动标注、缺陷生成、增强、筛选和查找所需素材的数据筛选与检索、在虚拟环境中重现场景的仿真,以及执行管理。它们分别负责标注、缺陷合成、视觉变换、素材检索、三维场景图像化,以及服务部署与执行。各项功能可独立使用,也可组合使用。

合成视频通过 Cosmos Evaluator 检查是否呈现所要求的属性、对象是否保持一致,以及运动是否符合物理常理。事件视频工作流会重新生成未通过检查的视频,并为通过检查的视频添加对象位置、移动轨迹和描述。

3. 依次请求环境配置和数据任务

首个请求是克隆执行管理仓库,并检查和配置环境。预检不会改变环境,只会检查缺失项。通过后再准备运行环境。以下是仓库说明中的请求示例。

Clone the CDF Orchestration repository, then run cdf-orchestration-preflight and cdf-orchestration-setup.

第二个请求用自然语言说明数据位置和预期生成结果。若要求查找夜间交通视频并生成车辆停靠的视频,智能体会说明连接检索、生成、评估与导出的工作流,以及所需输入。

运行需要 Kubernetes 集群、以对象形式保存输入输出资料的对象存储,以及用于上传封装运行环境的容器镜像的仓库。还需准备访问模型所需的 NGC API 密钥和 Hugging Face 读取令牌。

所需 GPU 数量因任务和模型部署方式而异。仓库列出的集群内部模型部署需求如下。

生成模型、语言模型和视觉语言模型部署在自有 GPU 上,包含 Cosmos Evaluator 默认检查

自行部署模型时各任务的 GPU 需求量 (张 GPU)自动驾驶数据集生成: GPU 数量 4; 缺陷图像生成: GPU 数量 4; 事件视频生成: GPU 数量 6; 图像属性增强: GPU 数量 2; 视频数据增强: GPU 数量 8自动驾驶数据集生成4缺陷图像生成4事件视频生成6图像属性增强2视频数据增强8
自行部署模型时各任务的 GPU 需求量 (张 GPU)
在自有 GPU 上部署模型时各任务的需求量 (张 GPU)
任务GPU 数量
自动驾驶数据集生成4
缺陷图像生成4
事件视频生成6
图像属性增强2
视频数据增强8

即使将模型部署到外部端点,视频增强仍需在集群中配置 5 张 GPU。基础设施规划不仅要考虑交给智能体的任务,也要考虑模型部署方式。

4. 公司公布的成本以计算费用为口径,自动驾驶数据与所述计算方法并不一致

NVIDIA 在配备 8 张 RTX PRO 6000 Blackwell Series GPU 的云服务器上测量了每日吞吐量。以每小时约 40 美元、每天 960 美元为基准,用每日费用除以产出数量,估算每份产出所需的 GPU 计算成本。

据公司公布,自动驾驶数据生成每天可产出约 130 个片段,每个片段成本为 2.66 美元,公司称相比道路实地采集每个场景 125 美元的成本约便宜 45 倍。但这些数字与公司自述的计算方法(用每日费用除以产出数量)并不一致:每天 960 美元除以约 130 个片段约为每片段 7.38 美元,而不是 2.66 美元。因此每片段 2.66 美元与约 45 倍的节省比较,在此仅作为彼此未能印证的公司主张列出。

据公司公布,图像属性增强每天约生成 42,649 对,每对成本为 0.023 美元,约比外购数据平均 0.25 美元低 10 倍。视频增强每天生成约 305 个时长约 5 分钟的片段,每个成本为 3.15 美元。公司称,相比其支付的外购数据平均 22 美元,约便宜 7 倍。事件视频生成以每个片段约 4 分钟为基准,每天约生成 384 个,每个成本为 2.50 美元。

据公司公布,缺陷图像生成的数据集组装时间从两个月缩短到一天,速度提升了 60 倍。

NVIDIA 还介绍了应用案例。公司称,在海上油田现场,合成数据使实际异常情况的检出率最高提升 24%,并估算其效益为数据生成成本的 1,400 倍。在利用摄像头图像发现产品缺陷的自动光学检测中,目标是将检测程序设计的手动工作量最多减少 85%,而误判为不良品的情况已减少 40%。

5. 将现场采集负担转移到计算与审核

其优势在于,无需等待罕见事件或重现危险场景,而是可以反复执行生成任务。成本重心也从现场采集转向 GPU 计算和结果审核。公司给出的单价仅包含计算成本,原始素材准备、配置、智能体使用、存储空间和人工审核可能产生额外成本。

Cosmos Data Factory 的核心在于,既能直接执行标准化数据任务,也能选取所需功能,扩展出新的工作流。