NVIDIA가 자율주행·로봇·검사 인공지능 개발자를 위한 학습 데이터 제작 도구 Cosmos Data Factory를 공개했다. 실제 영상과 이미지에서 필요한 장면을 찾고 날씨를 바꾸거나 드문 사고·결함 사례를 합성하는 작업을 코딩 에이전트에 요청할 수 있다.
여러 도구와 수작업을 연결하던 데이터 준비를 정해진 작업 흐름으로 실행하거나 기능별로 조립하는 방식이다. 개발팀은 현장 수집으로 확보하기 어려운 사례를 사용자의 GPU와 선택한 클라우드 또는 자체 환경에서 생성한다.
1. 다섯 가지 데이터 제작 작업을 바로 실행
미리 구성한 작업 흐름인 블루프린트는 자율주행 데이터셋 생성, 결함 이미지 생성, 이벤트 비디오 생성, 원본 자료를 바꾸어 사례를 늘리는 이미지 속성 증강, 비디오 데이터 증강의 다섯 가지다. 실행 순서와 의존 관계를 묶어 Airflow로 관리하며, 필요한 서비스를 배포하고 여러 컴퓨터를 묶은 클러스터에서 실행한다.
자율주행 흐름은 비슷한 장면을 찾고 날씨나 조명을 바꾼 뒤 현실 법칙에 맞는지 살피는 물리적 타당성을 확인한다. 이미지 속성 증강은 사람의 옷차림과 색상을 바꾸고 속성을 붙인다. 비디오 증강은 장면 구조를 유지하며 환경을 바꾸고 원본과 생성 영상에 탐지·추적·설명을 더한다.
이벤트 비디오는 한 장의 이미지에서 화재나 낙상 같은 드문 사건을 담은 영상을 만든다. 결함 이미지 흐름은 깨끗한 검사 이미지나 3차원 자산에서 결함 사례를 생성한다. 이때 결과물에는 이미지와 결함이 있는 위치를 표시한 마스크, 생성 이력을 확인할 자료가 포함될 수 있다.
2. 여섯 기능을 골라 자체 흐름으로 조립
조합 가능한 여섯 기능은 자료에 정답 정보를 자동으로 붙이는 자동 라벨링, 결함 생성, 증강, 필요한 자료를 골라 찾는 데이터 선별·검색, 가상 환경에서 상황을 재현하는 시뮬레이션, 실행 관리다. 각각 라벨 부여, 결함 합성, 시각적 변형, 자료 검색, 3차원 장면의 이미지화, 서비스 배포와 실행을 맡는다. 독립 사용하거나 함께 구성할 수 있다.
합성 영상은 Cosmos Evaluator로 요청한 속성이 나타나는지, 객체가 일관되게 유지되는지, 움직임이 물리적으로 그럴듯한지를 점검한다. 이벤트 비디오 흐름은 검사에 실패한 영상을 다시 생성하고, 통과한 영상에 객체 위치와 이동 경로, 설명을 붙인다.
3. 환경 설정과 데이터 작업을 차례로 요청
첫 요청은 실행 관리 저장소를 복제하고 환경을 검사·설정하는 일이다. 사전 검사는 환경을 바꾸지 않고 누락 사항을 확인한다. 통과하면 실행 환경을 준비한다. 저장소 안내의 요청 예시다.
Clone the CDF Orchestration repository, then run cdf-orchestration-preflight and cdf-orchestration-setup.두 번째 요청에서는 데이터의 위치와 만들 결과를 자연어로 설명한다. 야간 교통 영상을 찾아 정차 차량 영상을 만들도록 요청하면, 에이전트가 검색·생성·평가·내보내기를 잇는 작업 흐름과 필요한 입력을 안내한다.
실행에는 Kubernetes 클러스터, 입출력 자료를 객체 단위로 보관할 오브젝트 스토리지, 실행 환경을 묶어 둔 컨테이너 이미지를 올릴 저장소가 필요하다. 모델 접근을 위한 NGC API 키와 Hugging Face 읽기 토큰도 준비한다.
필요한 GPU 수는 작업과 모델 배치에 따라 달라진다. 저장소가 안내한 클러스터 내부 모델 배치 기준 요구량은 다음과 같다.
생성·언어·시각언어 모델을 자체 GPU에 배치, Cosmos Evaluator 기본 검사 포함
| 작업 | GPU 수 |
|---|---|
| 자율주행 데이터셋 생성 | 4 |
| 결함 이미지 생성 | 4 |
| 이벤트 비디오 생성 | 6 |
| 이미지 속성 증강 | 2 |
| 비디오 데이터 증강 | 8 |
비디오 증강은 모델을 외부 엔드포인트에 배치해도 클러스터에 GPU 5장이 필요하다. 에이전트에 요청할 작업뿐 아니라 모델 배치 방식도 인프라 계획에 반영해야 한다.
4. 회사 제시 비용은 연산 기준이며, 자율주행 수치는 산출 방식과 맞지 않는다
NVIDIA는 RTX PRO 6000 Blackwell Series GPU 8장을 탑재한 클라우드 서버에서 일일 처리량을 측정했다. 시간당 약 40달러, 하루 960달러를 기준으로, 하루 비용을 산출물 수로 나누어 산출물당 GPU 연산 비용을 추정했다.
회사 발표 기준 자율주행 데이터 생성은 하루 약 130개 클립, 클립당 2.66달러이며, 도로에서 직접 수집하는 시나리오당 125달러와 비교해 약 45배 저렴하다는 설명이다. 그러나 이 수치는 회사가 밝힌 산출 방식과 서로 맞지 않는다. 하루 960달러를 약 130개 클립으로 나누면 클립당 약 7.38달러가 되어 2.66달러와 차이가 난다. 따라서 클립당 2.66달러와 약 45배 절감 비교는 서로 조정되지 않은 회사 주장으로 제시한다.
회사 발표 기준 이미지 속성 증강은 하루 약 42,649쌍, 쌍당 0.023달러로, 외부 구매 데이터 평균 0.25달러보다 약 10배 낮다. 비디오 증강은 약 5분 클립을 하루 약 305개 생성하고 클립당 3.15달러로 제시했다. 회사가 지불한 외부 데이터 평균 22달러와 비교해 약 7배 저렴하다는 설명이다. 이벤트 비디오 생성은 클립당 약 4분을 기준으로 하루 약 384개, 클립당 2.50달러다.
결함 이미지 생성의 데이터셋 조립 시간은 회사 발표 기준 두 달에서 하루로 줄어 60배 빨라졌다.
NVIDIA는 도입 사례도 제시했다. 해상 유전 현장에서는 합성 데이터로 실제 이상 상황을 놓치지 않고 찾아내는 비율을 최대 24% 높였고 데이터 생성 비용 대비 1,400배 효과를 추정했다고 밝혔다. 카메라 영상으로 제품 결함을 찾는 자동 광학 검사에서는 검사 프로그램 설계의 수작업을 최대 85% 줄이는 것을 목표로 하며, 잘못된 불량 판정은 40% 감소했다고 설명했다.
5. 현장 수집 부담을 연산과 검토로 옮긴다
희귀 사건을 기다리거나 위험한 상황을 재연하는 대신 생성 작업을 반복할 수 있다는 점이 이점이다. 비용의 중심도 현장 수집에서 GPU 연산과 결과 검토로 옮겨간다. 회사가 제시한 단가는 연산 비용만 포함하며, 원본 준비·설정·에이전트 사용·저장공간·사람의 검토 비용은 추가될 수 있다.
Cosmos Data Factory의 핵심은 정형화된 데이터 작업을 바로 실행하면서도 필요한 기능을 골라 새 흐름으로 확장할 수 있게 한 데 있다.
