NVIDIA가 자율주행 개발자를 위한 차량용 추론 모델 Alpamayo 2 Edge를 공개했다. 주변 카메라 영상과 내비게이션 입력으로 주행 근거와 미래 경로를 만들되, 평상시에는 추론을 줄여 차량 컴퓨터의 연산 부담을 낮추는 방식이다. 자율주행 개발자는 폐쇄루프 학습과 배포 도구를 함께 활용해 차량 탑재 모델을 시험할 수 있다.
1. 추론을 줄이고 주행 결과로 다시 학습
이 모델은 NVIDIA Cosmos 3 Edge 기반의 20억 매개변수 모델로, 영상·언어 해석을 주행 행동으로 연결한다. 여러 방향의 카메라 영상과 과거 움직임, 내비게이션 입력을 받아 주행 판단의 원인과 미래 경로를 생성한다.
주행 상황이 일상적이면 판단 근거를 길게 생성하는 대신 <NOMINAL> 토큰을 내보낸다. 필요한 장면에서 추론을 생성하는 적응형 방식으로 불필요한 토큰 생성을 줄이고 추론 연산을 아낀다.
학습은 Alpamayo 2 Super가 만든 추론을 작은 모델에 전달하는 증류에 이어, AlpaGym 시뮬레이션의 폐쇄루프 강화학습으로 진행한다. 증류는 큰 모델의 지식을 작은 모델로 옮기는 학습이다. 폐쇄루프 강화학습은 모델이 낸 행동의 결과를 다시 경험하고 보상으로 개선하는 방식이다.
후학습은 사전 학습 뒤 성능을 추가 조정하는 과정이다. 회사 발표 기준 이 폐쇄루프 강화학습으로 폐쇄루프 주행 성능이 같은 강화학습을 하지 않은 최고 성능 모델보다 48.9% 개선됐다.
2. 시뮬레이션 비교와 차량 탑재 지연
AlpaSim의 폐쇄루프 평가는 모델이 내놓은 행동을 시뮬레이션에 반영하며 주행 결과를 살핀다.
회사 발표 기준 Alpamayo 2 Edge(2B)와 Qwen-Drive-1.0(4B)의 과실 사고 사이 거리는 다음과 같다. NVIDIA는 약 40배 차이라고 설명했다.
기록된 주행 자료로 미래 경로를 예측하는 오픈루프 평가의 최소 평균 변위 오차도 함께 제시했다. 예측 경로의 오차를 나타내며 낮을수록 좋은 지표다.
표: 두 모델의 주행 평가 비교
조건: NVIDIA 발표의 Alpamayo 2 Edge(2B)와 Qwen-Drive-1.0(4B) 비교. 폐쇄루프와 오픈루프는 별도 평가이며, 지표별로 두 모델을 비교한다.
단위: 과실 사고 사이 거리는 km, 최소 평균 변위 오차는 m
| 평가 방식 | 지표 | Alpamayo 2 Edge(2B) | Qwen-Drive-1.0(4B) | 우열 방향 |
|---|---|---|---|---|
| AlpaSim 폐쇄루프 | 과실 사고 사이 거리(km) | 9.87 | 0.25 | 높을수록 좋음 |
| 오픈루프 | 최소 평균 변위 오차(m) | 0.53 | 1.68 | 낮을수록 좋음 |
차트: 과실 사고 사이 거리 조건: 위 표의 AlpaSim 폐쇄루프 평가. 높을수록 좋으며 막대 길이는 값에 비례한다. 단위: km
Alpamayo 2 Edge(2B) ███████████████████▊ 9.87
Qwen-Drive-1.0(4B) ▌ 0.25차트: 최소 평균 변위 오차 조건: 위 표의 오픈루프 평가. 낮을수록 좋으며 막대 길이는 값에 비례한다. 거리 차트와 축을 공유하지 않는다. 단위: m
Alpamayo 2 Edge(2B) █████▎ 0.53
Qwen-Drive-1.0(4B) ████████████████▊ 1.68차량 탑재 성능은 별도 구성에서 측정했다. 회사 발표 기준 DRIVE AGX Thor-X에서 TensorRT 11.3.1.9로 최적화한 모델은 영상 입력부터 경로 출력까지 추론량에 따라 160~190ms가 걸렸다. 측정에는 DRIVE OS 7.2.7.0과 CUDA 13.4를 사용했다.
Embedl의 한스 살로몬손 공동창업자 겸 최고경영자는 AGX Thor에서 48시간 안에 초당 10회 주행 계획을 실행했다고 말했다.
3. 차량용 최적화는 별도 배포 단계
허깅페이스에서 받는 모델 가중치는 기본적으로 BF16이라는 수치 정밀도 형식으로 저장되며, 지원되는 NVIDIA GPU에서 파이토치 모델로 실행할 수 있다. 차량에서 실시간으로 쓰려면 최적화 과정이 추가된다.
배포 레시피는 DFlash2 초안 모델 준비와 FP8 보정으로 시작한다. 보조 모델로 추론 생성을 가속하고, 수치 정밀도를 낮춘 연산에 맞게 보정하는 과정이다.
이어 ONNX 그래프, 즉 배포 도구로 옮길 수 있도록 변환한 모델 표현을 내보내고 TensorRT 실행 엔진을 만든 뒤 배포 프로그램을 구동한다.
배포 레시피는 같은 입력과 동일하게 초기화한 행동 노이즈로 최적화 전후의 출력 품질도 비교한다.
배포 번들을 실행하는 원문 명령은 다음과 같다.
python -m alpamayo2edge_edgellm.runtime.run \
--engines "$WORK/engines" \
--model "$MODEL" \
--reference "$INPUTS" \
--dflash2 \
--rolling \
--warmup 1 \
--repeat 5 \
--output "$WORK/results.json"4. 추론 품질을 학습 데이터와 보상으로 연결
NVIDIA의 AlpaJudge는 주행 경로의 오차와 별개로 설명의 품질을 평가하며, 사람의 판단에 맞춰 조정한 평가·보상 모델이다. 참조 기반 방식은 질문과 정답, 후보 답을 비교한다. 참조 없는 방식은 앞쪽 광각·망원 카메라 프레임과 과거·미래 동작 문맥, 후보 추론을 사용해 평가 항목별 점수와 종합 점수를 낸다.
이 점수는 데이터 선별과 후학습에도 연결된다. 회사 발표 기준 점수 기반 선별 뒤 학습에 유용한 중간 점수 샘플 비중이 27%에서 81%로 늘었다.
공개된 강화학습 레시피는 모델의 추론과 경로를 평가하고, 경로 오차·승차감 지표에 추론 점수를 더해 하나의 보상으로 합친다. 회사 발표 기준 Alpamayo 2 Super 기반의 강화학습 전 모델에서 측정한 추론 품질 이득은 평가 모델 채점으로 10.2%, 사람 평가로 11.4%였다.
추론량을 줄이고 차량 안에서 빠르게 경로를 얻는 대신, 개발팀에는 수치 정밀도 보정과 실행 엔진 제작, 출력 품질 비교 작업이 추가된다. 모델을 받는 단계와 차량에서 실시간으로 돌리는 단계 사이에 최적화 비용이 놓이는 셈이다.
AlpaJudge 점수는 설명이 평가 기준에 맞는지를 보여 주므로 충돌·도로 이탈 같은 주행 지표와 함께 살펴야 한다. 높은 점수는 모델이 이미 잘 설명해 더 배울 것이 적은 사례일 수 있다. 낮은 점수에는 오표기뿐 아니라 드문 실패도 섞일 수 있어 일괄 제거하면 필요한 학습 사례가 사라질 수 있다. 중간 점수대에는 추가 학습에 유용한 사례가 많아 선별 가치가 있다.
핵심은 추론을 필요한 순간에 집중시키고, 차량 배포와 평가·재학습을 하나의 개발 흐름으로 잇는 데 있다.