NVIDIAは、自動運転・ロボット・検査AIの開発者向けに、学習データ作成ツールCosmos Data Factoryを公開した。実際の映像や画像から必要な場面を探し、天候を変えたり、まれな事故・欠陥の事例を合成したりする作業を、コーディングエージェントに依頼できる。
複数のツールと手作業をつないでいたデータ準備を、定型のワークフローで実行するか、機能ごとに組み立てる方式だ。開発チームは、現場での収集では確保しにくい事例を、利用者のGPUと選択したクラウドまたは自前の環境で生成する。
1. 5種類のデータ作成作業をすぐに実行
事前構成済みのワークフローであるブループリントは、自動運転データセット生成、欠陥画像生成、イベント動画生成、元の素材を変えて事例を増やす画像属性拡張、動画データ拡張の5種類だ。実行順序と依存関係をまとめてAirflowで管理し、必要なサービスをデプロイして、複数のコンピューターからなるクラスターで実行する。
自動運転のフローは、類似場面を探して天候や照明を変えた後、現実の法則に合うかという物理的妥当性を確認する。画像属性拡張は、人の服装や色を変えて属性を付ける。動画拡張は場面の構造を保ちながら環境を変え、元の映像と生成映像に検出・追跡・説明を加える。
イベント動画は、1枚の画像から火災や転倒などのまれな出来事を含む映像を作る。欠陥画像のフローは、欠陥のない検査画像や3次元アセットから欠陥事例を生成する。出力には、画像と欠陥の位置を示すマスク、生成履歴を確認する資料が含まれる場合がある。
2. 6つの機能を選んで独自のフローを構築
組み合わせ可能な6つの機能は、資料に正解情報を自動で付ける自動ラベリング、欠陥生成、拡張、必要な資料を選んで探すデータ選別・検索、仮想環境で状況を再現するシミュレーション、実行管理だ。それぞれラベル付与、欠陥合成、視覚的変形、資料検索、3次元シーンの画像化、サービスのデプロイと実行を担う。単独でも組み合わせても使える。
合成映像はCosmos Evaluatorで、指定した属性が現れるか、物体の一貫性が保たれるか、動きが物理的にもっともらしいかを検査する。イベント動画のフローは、検査に失敗した映像を再生成し、合格した映像に物体の位置と移動経路、説明を付ける。
3. 環境設定とデータ作業を順に依頼
最初の依頼は、実行管理リポジトリを複製し、環境を検査・設定することだ。事前検査では環境を変更せず、不足事項を確認する。合格すると実行環境を準備する。リポジトリの案内にある依頼例は次のとおりだ。
Clone the CDF Orchestration repository, then run cdf-orchestration-preflight and cdf-orchestration-setup.2回目の依頼では、データの場所と作りたい結果を自然言語で説明する。夜間の交通映像を探して停車車両の映像を作るよう依頼すると、エージェントが検索・生成・評価・エクスポートをつなぐワークフローと必要な入力を案内する。
実行には、Kubernetesクラスター、入出力の資料をオブジェクト単位で保存するオブジェクトストレージ、実行環境をまとめたコンテナーイメージを登録するリポジトリが必要だ。モデルにアクセスするためのNGC APIキーとHugging Faceの読み取りトークンも用意する。
必要なGPU数は、作業とモデルの配置によって異なる。リポジトリが示す、クラスター内部にモデルを配置する場合の要件は次のとおりだ。
生成・言語・視覚言語モデルを自前のGPUに配置、Cosmos Evaluatorの標準検査を含む
| 作業 | GPU数 |
|---|---|
| 自動運転データセット生成 | 4 |
| 欠陥画像生成 | 4 |
| イベント動画生成 | 6 |
| 画像属性拡張 | 2 |
| 動画データ拡張 | 8 |
動画拡張は、モデルを外部エンドポイントに配置してもクラスターにGPUが5基必要だ。エージェントに依頼する作業だけでなく、モデルの配置方法もインフラ計画に反映する必要がある。
4. 同社発表の費用は計算費用ベースで、自動運転の数値は算出方法と整合しない
NVIDIAは、RTX PRO 6000 Blackwell Series GPUを8基搭載したクラウドサーバーで1日当たりの処理量を測定した。1時間当たり約40ドル、1日960ドルを基に、1日の費用を出力量で割って出力1件当たりのGPU計算費用を推定した。
同社発表によると、自動運転データ生成は1日約130クリップ、1クリップ当たり2.66ドルだ。道路で直接収集する場合の1シナリオ当たり125ドルと比べ、約45分の1の費用になるという。ただし、この数字は同社の説明された算出方法(1日の費用を出力量で割る)と相互に整合しない。1日960ドルを約130クリップで割ると1クリップ当たり約7.38ドルとなり、2.66ドルと食い違う。そのため、1クリップ当たり2.66ドルと約45分の1という比較は、提示された資料では互いに調整されない会社側の主張として記載する。
同社発表によると、画像属性拡張は1日約42,649ペア、1ペア当たり0.023ドルで、外部購入データの平均0.25ドルの約10分の1だ。動画拡張は約5分のクリップを1日約305本生成し、1クリップ当たり3.15ドルとした。同社が支払った外部データの平均22ドルと比べ、約7分の1の費用になるという。イベント動画生成は、1クリップ約4分を基準に1日約384本、1クリップ当たり2.50ドルだ。
欠陥画像生成のデータセット構築時間は、同社発表によると2か月から1日に短縮され、60倍速くなった。
NVIDIAは導入事例も示した。海上油田の現場では、合成データにより実際の異常を見逃さずに検出する割合を最大24%高め、データ生成費用に対して1,400倍の効果を推定したと発表した。カメラ映像で製品の欠陥を探す自動光学検査では、検査プログラム設計の手作業を最大85%減らすことを目指し、誤った不良判定は40%減少したと説明した。
5. 現場収集の負担を計算と確認へ移す
まれな出来事を待ったり、危険な状況を再現したりする代わりに、生成作業を繰り返せる点が利点だ。費用の中心も、現場での収集からGPU計算と結果の確認へ移る。同社が示した単価は計算費用のみを含み、元データの準備・設定・エージェント利用・ストレージ・人による確認の費用は追加される可能性がある。
Cosmos Data Factoryの核心は、定型化されたデータ作業をすぐに実行しつつ、必要な機能を選んで新たなフローへ拡張できるようにした点にある。
