NVIDIA는 AI 에이전트가 장애물 코스 설계와 3D 자산 준비를 돕고, 가상 환경에서 로봇의 걷는 방법을 학습·검증하는 과정을 공개했다. 로봇 개발자는 물리 환경을 만들기 전에 코스와 로봇의 움직임을 시험할 수 있으며, 학습과 검증을 거쳐 실제 로봇에 옮길 준비를 할 수 있다.

1. 프롬프트에서 코스 계획으로

NVIDIA는 Microduck을 사례로 여섯 단계의 작업 흐름을 소개했다. 로컬 개발 허브인 RTX Spark에서 계획을 준비하고, 학습을 마친 뒤 다시 로컬에서 검증하는 구조다.

Hermes와 NVIDIA Nemotron 3.5 Bolt가 프롬프트를 과제, 사용할 자원, 산출물, 진행 순서를 담은 계획으로 바꾼다. 코스 배치와 장애물 치수, 통로 폭, 이동 경로도 정한다.

원문은 작업을 시작할 때 쓸 프롬프트 예시를 제시했다.

Build and test a simulated Microduck obstacle course with navigation and locomotion challenges. Make a photorealistic concept image and have Astra build and test it.
...
Workflow
Use Hermes and Nemotron 3.5 Bolt for preparation and Astra for asset creation and simulation.

기획 단계에서는 로봇 문서와 저장소를 살펴 능력과 관련 자원, 추가 확인이 필요한 내용을 정리한다. 이어 코스 콘셉트 이미지에서 재사용할 자산을 추리고, 잘리거나 가려진 부분도 기록한다. Hermes는 계획과 이미지, 자산 목록, 참고 자료를 묶어 Astra에 작업을 넘긴다.

2. 에이전트가 자산을 만들고 시뮬레이션을 조립한다

Astra는 콘셉트 이미지에서 잘라낸 세부 표현이 제한된 저해상도 참고 자료를 클라우드 이미지 편집으로 선명하게 만든다. 원본과 비교해 실루엣, 물체의 바깥 윤곽을 나타내는 형태, 비율, 색, 특징이 유지됐는지 살핀 뒤, 이미지에서 확인할 수 없는 치수와 숨은 면은 모델링 가정, 자료에 없는 부분을 추정해 세운 전제로 남긴다.

기본 형상과 편집 가능한 구조는 FreeCAD로 만들고, 세부 형상과 재질은 Blender로 더한다. 두 프로그램은 로컬에서 프로그래밍 방식, 코드를 통해 작업을 자동 수행하는 방식으로 실행된다. 결과물은 편집 가능한 모델과 시뮬레이션용 자산으로 저장하고 미리보기와 출력 검수를 거친다.

기존 자산을 활용하는 선택지도 있다. 회사 발표 기준, 무료로 이용할 수 있는 SimReady Central Library에는 시뮬레이션용 3D 자산이 2,000개 넘게 등록돼 있다.

코스 조립 단계에서는 Isaac Sim의 렌더링, 장면 정보를 화면 이미지로 만드는 처리, 센서 기능과 물체의 움직임과 충돌을 계산하는 Newton 물리엔진을 활용한다. 로봇 몸체와 관절, 몸체 부위를 잇고 회전시키는 연결부, 전력을 움직임으로 바꾸는 장치인 구동부의 관계를 설정하면 시뮬레이션이 움직임과 균형을 계산한다. 에이전트는 이 설정을 도울 수 있다.

3. 병렬 환경에서 보행 정책을 훈련한다

로봇의 관측을 행동으로 바꾸는 규칙이 정책이다. Isaac Lab은 클라우드에서 여러 시뮬레이션을 동시에 실행해 하나의 정책을 개선할 경험을 모은다. 개발자는 로봇이 무엇을 관측하고 어떤 동작을 할 수 있는지, 성공적인 행동에 목표에 맞는 행동을 유도하는 점수인 보상을 줄지 정해 과제를 구현한다. 시뮬레이션에서 넘어지거나 충돌하는 결과도 경험을 반영해 행동 규칙을 다시 조정하는 정책 갱신에 반영된다.

이번 사례는 Isaac Lab의 Microduck 예제 환경에서 미리 학습한 이동 정책을 출발점으로 삼았다. 곡면 램프, 경사면이 휘어진 통과용 구조물, 와 장애물을 통과하도록 추가 학습했으며, 관측에는 머리에 달린 카메라가 얻은 카메라와 물체 사이 간격을 나타내는 거리 정보와 로봇 상태 정보가 쓰였다.

회사 발표 기준, 이 추가 학습은 NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU에서 병렬 환경 4,096개를 사용했다. 여러 로봇의 시도를 동시에 모아 정책 갱신에 활용한 사례다.

4. 로컬에서 정책을 검증하고 실기 전환을 준비한다

학습이 끝난 정책은 로컬 RTX Spark의 Isaac Sim에서 평가한다. 장애물을 감지하고 움직임을 조정하는지, 코스를 완주하는지 살피며 넘어짐과 충돌, 진행이 멈춘 상황을 기록한다. 정책 실행 영상과 기록을 함께 보면 환경이나 학습 설정을 개선할 지점을 찾을 수 있다.

실제 로봇에 적용하기 전에는 시뮬레이션이 현실의 동작을 더 잘 반영하도록 조정할 수 있다. Isaac Lab의 Better Actuator Models는 명령 지연, 명령 전달부터 구동 반응까지 걸리는 시간, 구동부의 작은 틈, 방향 전환 때 움직임에 생기는 유격, 모터 전압 저하에 따른 구동 반응을 모델링한다. 실제 측정값에 맞춰 설정하고 물리 조건과 관측 노이즈를 현실적인 범위에서 바꾸는 도메인 랜덤화를 적용하면, 정책이 시뮬레이션과 실제 환경의 차이에 대응하도록 훈련할 수 있다.

NVIDIA는 학습한 보행 정책을 실제 Microduck에서 실행한 장면도 제시했다. 실제 로봇 시험에서 찾은 차이는 다음 시뮬레이션과 학습에 반영한다.

이 추가 학습 실행의 성공률과 학습 시간은 원문에 없으며, 실제 하드웨어 배포의 세부 절차도 범위 밖이다.

5. 준비 작업을 덜고 검증을 강화한다

에이전트가 코스 계획과 자산 제작을 보조하고, 이미 준비된 자산도 활용할 수 있어 환경 구축 부담을 낮출 수 있다. 그만큼 사람이 살펴야 할 지점은 이미지에서 알 수 없는 모델링 가정과 자산의 적합성, 시뮬레이션 결과다. 로컬 준비와 검증 사이에 클라우드 학습을 연결하므로, 개발자는 자산 검수와 학습 환경 운영을 함께 계획해야 한다.

NVIDIA의 접근은 로봇 학습 준비를 자동화하되, 시뮬레이션과 실기 사이의 간극을 확인하는 검증을 개발 과정의 일부로 둔다.