NVIDIAは、AIエージェントが障害物コースの設計と3Dアセットの準備を支援し、仮想環境でロボットの歩き方を学習・検証する過程を公開した。ロボット開発者は物理環境を作る前にコースとロボットの動きを試し、学習と検証を経て実機に移す準備ができる。

1. プロンプトからコース計画へ

NVIDIAはMicroduckを例に、6段階のワークフローを紹介した。ローカル開発ハブのRTX Sparkで計画を準備し、学習後に再びローカルで検証する構成だ。

HermesとNVIDIA Nemotron 3.5 Boltが、プロンプトを課題、使用するリソース、成果物、進行順序を含む計画に変える。コース配置や障害物の寸法、通路幅、移動経路も決める。

原文では、作業開始時に使うプロンプト例を示した。

Build and test a simulated Microduck obstacle course with navigation and locomotion challenges. Make a photorealistic concept image and have Astra build and test it.
...
Workflow
Use Hermes and Nemotron 3.5 Bolt for preparation and Astra for asset creation and simulation.

企画段階ではロボットの文書とリポジトリを調べ、能力や関連リソース、追加確認が必要な内容を整理する。次にコースのコンセプト画像から再利用するアセットを選び、切れたり隠れたりした部分も記録する。Hermesは計画と画像、アセット一覧、参考資料をまとめ、Astraに作業を引き継ぐ。

2. エージェントがアセットを作り、シミュレーションを組み立てる

Astraは、コンセプト画像から切り出した細部表現の乏しい低解像度の参考資料を、クラウドの画像編集で鮮明にする。原本と比較し、物体の外形を示すシルエットや比率、色、特徴が保たれているか確認する。画像では分からない寸法や隠れた面は、資料にない部分を推定したモデリング上の仮定として残す。

基本形状と編集可能な構造はFreeCADで作り、細部の形状や材質はBlenderで加える。両プログラムはローカルで、コードにより作業を自動実行するプログラム方式で動く。成果物は編集可能なモデルとシミュレーション用アセットとして保存し、プレビューと出力検査を行う。

既存アセットを活用する選択肢もある。同社の発表によると、無料で利用できるSimReady Central Libraryには、シミュレーション用3Dアセットが2,000点以上登録されている。

コースの組み立てには、シーン情報を画面の画像にするIsaac Simのレンダリング処理とセンサー機能、物体の動きや衝突を計算するNewton物理エンジンを活用する。ロボットの本体と、部位をつないで回転させる関節、電力を動きに変える駆動部の関係を設定すると、シミュレーションが動きとバランスを計算する。エージェントはこの設定を支援できる。

3. 並列環境で歩行ポリシーを訓練する

ロボットの観測を行動に変える規則がポリシーだ。Isaac Labはクラウドで複数のシミュレーションを同時に実行し、1つのポリシーを改善する経験を集める。開発者はロボットが何を観測し、どの動作を行えるか、成功した行動に目標に沿う行動を促す点数である報酬を与えるかを決め、課題を実装する。シミュレーションで転倒や衝突した結果も、経験を反映して行動規則を再調整するポリシー更新に反映される。

今回の事例は、Isaac LabのMicroduckサンプル環境で事前学習した移動ポリシーを出発点とした。傾斜面が湾曲した通過用構造物である曲面ランプや障害物を通過するよう追加学習した。観測には、頭部のカメラが取得した、カメラと物体の間隔を示す距離情報と、ロボットの状態情報を用いた。

同社の発表によると、この追加学習ではNVIDIA RTX PRO 6000 Blackwell Workstation Edition GPUで4,096の並列環境を使用した。複数のロボットの試行を同時に集め、ポリシー更新に活用した事例だ。

4. ローカルでポリシーを検証し、実機への移行を準備する

学習済みのポリシーは、ローカルのRTX Spark上のIsaac Simで評価する。障害物を検知して動きを調整するか、コースを完走するかを確認し、転倒や衝突、進行が止まった状況を記録する。ポリシーの実行映像と記録を合わせて見ることで、環境や学習設定の改善点を見つけられる。

実機に適用する前に、シミュレーションが現実の動作をよりよく反映するよう調整できる。Isaac LabのBetter Actuator Modelsは、指令伝達から駆動応答までの時間である指令遅延、方向転換時の動きに遊びを生む駆動部の小さな隙間、モーターの電圧低下に伴う駆動応答をモデル化する。実測値に合わせて設定し、物理条件と観測ノイズを現実的な範囲で変えるドメインランダム化を適用すれば、ポリシーがシミュレーションと実環境の差に対応するよう訓練できる。

NVIDIAは、学習した歩行ポリシーを実際のMicroduckで実行した場面も示した。実機試験で見つけた差は、次のシミュレーションと学習に反映する。

この追加学習の実行における成功率と学習時間は原文に記載がなく、実機への導入の詳細な手順も対象外だ。

5. 準備作業を減らし、検証を強化する

エージェントがコース計画とアセット制作を支援し、用意済みのアセットも活用できるため、環境構築の負担を軽減できる。その分、人が確認すべき点は、画像では分からないモデリング上の仮定やアセットの適合性、シミュレーション結果となる。ローカルでの準備と検証の間にクラウド学習をつなぐため、開発者はアセット検査と学習環境の運用を併せて計画する必要がある。

NVIDIAのアプローチは、ロボット学習の準備を自動化しつつ、シミュレーションと実機の隔たりを確認する検証を開発過程の一部に位置付ける。