NVIDIA Physical Plausibility Evaluator：単一動画の選別、独自の判定基準

1. 何を評価するのか

Physical Plausibility Evaluatorは、動画の特徴を抽出する約3億パラメータのエンコーダーを固定し、その特徴から良好・不良を分ける2,049個のパラメータだけを学習する。動画自体を生成するのではなく、人が付けた品質ラベルを学び、成果物を評価する構造だ。

2. 入力と判定方法

入力はH.264/AVCでエンコードされたMP4動画だ。動画全体から両端を含めて64フレームを均等に抽出する。縦横比を保って384×384のサイズに収め、余白を埋める。読み取れるフレームが64未満なら拒否し、音声と透明度の情報は使わない。

モデルは不良スコアを基に、0~1の範囲の妥当性スコアと良好・不良の判定を出す。スコアは較正済みの確率を保証しない。

デフォルト設定では、検証動画で良好な動画を30%拒否するように定めたしきい値を読み込む。スコア0.3で区切る方式ではない。ユーザーは自分の基準に合わせて分類器を再学習させるか、しきい値だけを較正できる。

3. データと測定結果

分類器の学習データはCosmos 3の画像から動画を生成する機能で作った動画だ。元の5,000本から品質確認で13本を除いて4,987本を残し、人による3段階の品質評価を良好・不良の2分類にまとめた。学習データは2,991本、約7.7時間だ。検証とテストのデータはそれぞれ998本で、同じシーンが異なるグループに含まれていないという保証はない。データ自体と詳細な生成設定は公開されない。

事前学習済みの分類器は、NVIDIA Hopper H100でテスト動画998本を使って評価した。不良と良好をスコアの順位で区別する能力を示すROC AUCは0.8258だった。他のモデルとの比較結果は示されていない。

良好な動画の拒否率の上限30%に合わせ、検証データで定めた分類器の生出力のしきい値0.5438173を適用すると、不良698本のうち562本を除外し、再現率は80.52%だった。良好な動画は300本中94本が除外され、拒否率は31.33%だった。テストラベルでしきい値を選んだわけではない。

不良を除外する利点には、良好な結果も捨てるコストが伴う。検証データの拒否率の上限と実際のテストの拒否率が異なるため、導入環境のデータで判定基準を再確認する必要がある。

4. 導入時に検討すべき点

モデルカードには、コマンドラインとREST APIによる連携の案内がある。ただし、提供されたCosmos Evaluatorリポジトリの文書にある検査一覧には、このモデルがない。以下は原文にあるリポジトリのクローン例で、この評価器の実行コマンドは示されていない。

git clone https://github.com/NVIDIA/cosmos-evaluator.git
cd cosmos-evaluator

動画の特徴抽出モデルの重みは別途入手し、元の配布条件に従う必要がある。

検証済みハードウェア以外のGPUアーキテクチャは、モデルカードで認証されていない。エンコーダーと分類器はGPUで、動画のデコードとサイズ変更はCPUで実行する。

継続的な再学習や保守の計画はない。独自に調整した後の運用方針も、導入時に検討する必要がある。

このモデルは、細かな欠陥がどの位置や時点で生じたかを示さない。合格判定も物理的な正確性や安全性を認証するものではないため、安全が重要な判断の唯一の根拠にしてはならない。

このモデルは合成動画の選別を助けるが、判定基準と適用の妥当性を確認する責任まで肩代わりするものではない。