英伟达计划于2026年10月20日发布一款对合成视频的物理合理性进行评分的评估模型。它不与参考视频比较,而是检查单个视频,因此可为筛选生成结果的开发者和研究人员提供辅助评估手段。

1. 评估什么

Physical Plausibility Evaluator冻结用于提取视频特征的约3亿参数编码器,仅训练利用这些特征区分良好与不良的2,049个参数。它不生成视频,而是学习人工标注的质量标签来评估成品。

2. 输入与判定方式

输入为采用H.264/AVC编码的MP4视频。从整个视频中均匀抽取64帧,包含首尾端点。保持宽高比缩放至384×384尺寸,并填充剩余区域。可读取帧数少于64时会被拒绝,音频和透明度信息不予使用。

模型根据不良分数输出0~1范围的合理性分数,以及良好或不良的判定。该分数不保证是经过校准的概率。

默认设置加载的是在验证视频上以拒绝30%良好视频为目标确定的阈值,并非以分数0.3为界进行划分。用户可按自身标准重新训练分类器,或仅校准阈值。

3. 数据与测量结果

分类器的训练数据是使用Cosmos 3图生视频功能生成的视频。原始5,000个视频经质量审核剔除13个,剩余4,987个,并将人工三级质量评价合并为良好与不良两类。训练数据包含2,991个视频,约7.7小时。验证集和测试集各有998个,无法保证同一场景未出现在不同数据集中。数据本身及详细生成设置不予公开。

预训练分类器在NVIDIA Hopper H100上使用998个测试视频进行了评估。衡量按分数排序区分不良与良好视频能力的ROC AUC为0.8258。未提供与其他模型的比较结果。

采用在验证集上按良好视频拒绝率上限30%确定的分类器原始输出阈值0.5438173时,698个不良视频中筛出了562个,召回率为80.52%。300个良好视频中有94个被淘汰,拒绝率为31.33%。阈值并非根据测试标签选择。

筛除不良视频的收益伴随着丢弃良好结果的成本。验证集的拒绝率上限与实际测试拒绝率不同,因此需要用部署环境的数据重新确认判定标准。

4. 部署时需考虑的事项

模型卡介绍了命令行和REST API集成方式。但所提供的Cosmos Evaluator仓库文档中的检查项目列表并未列出该模型。以下为原文中的仓库克隆示例,未提供该评估器的运行命令。

git clone https://github.com/NVIDIA/cosmos-evaluator.git
cd cosmos-evaluator

视频特征提取模型的权重需另行获取,并遵守原始分发条款。

模型卡未认证经验证硬件以外的GPU架构。编码器与分类器在GPU上运行,视频解码与尺寸调整在CPU上运行。

没有持续重新训练或维护计划。部署时也需考虑自行调整后的运营方案。

该模型不会指出具体缺陷出现的位置或时间。通过判定也不代表物理准确性或安全性获得认证,因此不得将其作为安全关键决策的唯一依据。

该模型有助于筛选合成视频,但无法代替使用者承担确认判定标准与应用适用性的责任。