NVIDIA Physical Plausibility Evaluator: 단일 영상 선별, 맞춤형 판정 기준

1. 무엇을 평가하는가

Physical Plausibility Evaluator는 영상의 특징을 추출하는 약 3억 매개변수 인코더를 고정하고, 그 특징으로 양호·불량을 가르는 2,049개 매개변수만 학습한다. 영상 자체를 생성하는 대신 사람이 붙인 품질 라벨을 배워 결과물을 평가하는 구조다.

2. 입력과 판정 방식

입력은 H.264/AVC로 인코딩된 MP4 영상이다. 영상 전체에서 양 끝점을 포함해 64개 프레임을 균일하게 뽑는다. 가로세로 비율을 유지해 384×384 크기로 맞춘 뒤 남는 부분을 채운다. 읽어낼 수 있는 프레임이 64개보다 적으면 거부하며, 오디오와 투명도 정보는 쓰지 않는다.

모델은 불량 점수를 바탕으로 0~1 범위의 타당성 점수와 양호·불량 판정을 낸다. 점수는 보정된 확률을 보장하지 않는다.

기본 설정은 검증 영상에서 양호 영상을 30% 거부하도록 정한 임계값을 불러오며, 점수 0.3을 기준으로 자르는 방식이 아니다. 사용자는 자기 기준에 맞춰 분류기를 다시 학습하거나 임계값만 보정할 수 있다.

3. 데이터와 측정 결과

분류기 학습 자료는 코스모스 3의 이미지-투-비디오 기능으로 만든 영상이다. 원본 5,000개 가운데 품질 검수에서 13개를 제외해 4,987개를 남겼고, 사람의 세 단계 품질 평가를 양호·불량 두 범주로 합쳤다. 학습 자료는 2,991개 영상, 약 7.7시간이다. 검증과 테스트 자료는 각각 998개이며, 같은 장면이 서로 다른 묶음에 들어가지 않았다는 보장은 없다. 자료 자체와 자세한 생성 설정은 공개되지 않는다.

사전 학습 분류기는 NVIDIA Hopper H100에서 테스트 영상 998개로 평가했다. 불량과 양호를 점수 순서로 구별하는 능력을 나타내는 ROC AUC는 0.8258이었다. 다른 모델과의 비교 결과는 제시되지 않았다.

양호 영상 거부 상한 30%에 맞춰 검증 자료에서 정한 분류기 원시 출력의 임계값 0.5438173을 적용하면, 불량 698개 중 562개를 걸러 재현율은 80.52%였다. 양호 영상은 300개 중 94개가 탈락해 거부율이 31.33%였다. 테스트 라벨로 임계값을 선택하지는 않았다.

불량을 걸러내는 이익에는 양호한 결과도 버리는 비용이 따른다. 검증 자료의 거부 상한과 실제 테스트 거부율이 다른 만큼, 도입 환경의 자료로 판정 기준을 다시 확인해야 한다.

4. 도입할 때 따져볼 점

모델 카드는 명령줄과 REST API 연동을 안내한다. 다만 제공된 Cosmos Evaluator 저장소 문서의 검사 목록에는 이 모델이 없다. 다음은 원문에 있는 저장소 복제 예시이며, 이 평가기의 실행 명령은 제시되지 않았다.

git clone https://github.com/NVIDIA/cosmos-evaluator.git
cd cosmos-evaluator

영상 특징 추출 모델의 가중치는 별도로 확보하고 원래 배포 조건을 따라야 한다.

검증된 하드웨어 외의 GPU 아키텍처는 모델 카드에서 인증하지 않는다. 인코더와 분류기는 GPU에서, 영상 디코딩과 크기 조정은 CPU에서 실행한다.

지속적인 재학습이나 유지보수 계획은 없다. 자체 조정 이후의 운영 방안도 도입할 때 따져봐야 한다.

이 모델은 세부 결함이 어느 위치나 시점에 생겼는지 알려주지 않는다. 통과 판정도 물리적 정확성이나 안전성을 인증하지 않으므로 안전이 중요한 결정의 유일한 근거로 삼아서는 안 된다.

이 모델은 합성 영상 선별을 돕지만, 판정 기준과 적용 적합성을 확인하는 책임까지 대신하지는 않는다.