Apple 发布了从单张照片或普通相机视频中,以米为单位预测物体深度的模型。照片和视频编辑开发者可用它保留毛发般纤细的边界,同时减少视频中物体估计距离逐帧波动的现象。

1. 用一个模型处理照片和视频

单图深度模型能清晰捕捉各帧的边界,但距离可能逐帧变化。相反,参考多帧的视频模型能稳定深度变化,却往往会平滑边界细节。论文将这种权衡列为现有深度估计的难题。

Depth Pro 2 经过训练,可处理单张照片,也可同时处理最多 32 帧。其结构保留原始分辨率以呈现细节,并通过多帧信息共享稳定同一物体的深度。它先分析各帧内部的信息,再交替参考帧内和帧间信息,最终为每帧重建深度图,即逐像素记录距离的图像。

2. 用焦距校准深度的米制尺度

将深度换算为米时,可使用照片中记录的焦距,即镜头汇聚光线的光学距离值,也可通过单独的估计器获取。视频则取多帧估计值的中位数,共用一个焦距。就像校准尺子的刻度一样,焦距决定了预测深度的尺度。

根据公司公布的数据,在六个评测数据集上,焦距相对误差低于 25% 的照片比例的平均值如下。

表:焦距估计准确率

条件:论文表 6,未用于训练的六个数据集,焦距相对误差低于 25% 的比例的平均值

单位:%

焦距估计准确率对比Depth Pro 2: 平均准确率 88.6; Depth Pro: 平均准确率 71.7; UniK3D-L: 平均准确率 57.8Depth Pro 288.6Depth Pro71.7UniK3D-L57.8
焦距估计准确率对比
用焦距校准深度的米制尺度
模型平均准确率
Depth Pro 288.6
Depth Pro71.7
UniK3D-L57.8

在相同评测中,该模型的比例高于既有模型。这对缺少焦距信息的照片和视频的米制深度估计是一项重要改进。

3. 视频边界与时间稳定性评测

根据公司公布的数据,以下是在未用于训练的数据上的视频评测结果。边界 F1 表示识别真实物体边界的能力,越高越好;抖动表示跟踪同一点时深度波动的程度,越低越稳定。

表:视频边界清晰度与时间稳定性

条件:论文表 4(b)·5,50 帧片段,各模型官方推理分辨率,单图模型逐帧处理;逆深度尺度与基准点对齐在 F1 评测中逐帧进行,在抖动评测中每段视频进行 1 次,抖动评测跟踪未被遮挡的真值点

单位:F1 分数,抖动为原始值的 100 倍

视频边界与时间稳定性评测
模型Sintel F1Spring F1DyDToF F1Sintel 抖动Spring 抖动
Depth Pro 2-H+43.416.834.41.390.86
InfiniDepth44.811.830.57.669.48
Depth Pro36.312.724.811.268.99
π311.64.26.82.131.04
DepthCrafter24.87.715.92.091.07
VGGT-Ω-1B10.84.97.52.360.99

在相同视频条件下,H+ 在三个数据集上的边界分数均高于既有 Depth Pro,且在两个数据集上的抖动更低。

InfiniDepth 在 Sintel 的边界分数上领先,但深度波动更大。这体现了仅边界清晰的结果与适合整段视频使用的结果之间的区别。

4. 选择视频长度与处理方式

视频文件默认每组处理 16 帧,与下一组重叠 4 帧,以缓解组间深度变化。根据公司公布的数据,H+ 在此设置下处理 720p DynamicReplica 的 300 帧视频,抖动为 0.291。

在单张 B200 上使用合成 720p 输入时,处理速度为每秒 21.7 帧,峰值预留内存为 10.0GiB,即运行器事先保留的内存空间。测量时提供焦距以排除估计器,并采用 PyTorch 即时执行,即调用运算后立即执行。

精度采用 bf16 自动混合精度,即根据运算采用不同精度,深度输出部分则使用 fp32 计算。数值为各设置运行三次的中位数。

对于相机输入,还提供每帧到达即输出结果的方式。它将过去帧的计算结果放入缓存,即用于复用的临时存储空间,供当前帧参考,从而减少等待未来帧的时间。

5. 性能优势与资源成本

高分辨率输入与时间信息可同时提升细节和稳定性,但提高分辨率及一次参考的帧数,也会增加内存与计算负担。根据公司公布的数据,在相同 1080p 片段上,小模型运行更快,大模型则占用更多内存。

表:不同模型大小的视频处理资源

条件:论文表 13,单张 B200,Spring 1920×1080 视频的 32 帧批量处理,PyTorch 即时执行·bf16 自动混合精度,包含焦距估计

相同视频条件下不同模型大小的吞吐量Depth Pro 2-S: 吞吐量(帧/秒) 44.8; Depth Pro 2-B: 吞吐量(帧/秒) 23.6; Depth Pro 2-L: 吞吐量(帧/秒) 9.1; Depth Pro 2-H+: 吞吐量(帧/秒) 5.3Depth Pro 2-S44.8Depth Pro 2-B23.6Depth Pro 2-L9.1Depth Pro 2-H+5.3
相同视频条件下不同模型大小的吞吐量
性能优势与资源成本
模型吞吐量(帧/秒)峰值预留内存(GiB)
Depth Pro 2-S44.88.0
Depth Pro 2-B23.614.0
Depth Pro 2-L9.121.7
Depth Pro 2-H+5.329.5

该测量是包含焦距估计的批量处理结果。开发者可根据目标分辨率下所需的处理速度与内存选择模型大小。

6. 用公开代码从照片开始测试

代码仓库中的照片处理示例如下。加载照片并输入模型后,即可获得每个像素以米为单位的深度。

import av
from depth_pro_2 import create_model_and_transforms, load_rgb, upright

model, transform = create_model_and_transforms("depthpro2-h")  # on the GPU if there is one

# A photo. f_px is the focal length recorded in the photo, or None.
image, f_px = load_rgb("assets/example.jpg")
depth = model.infer(transform(image), f_px=f_px)["depth"]  # meters, shape (height, width)

代码仓库提供推理代码,不含训练与评估代码,权重仅限非营利科学研究与学术开发使用。即时处理的视频开头可参考的历史帧较少,因此稳定性相对较低。

Depth Pro 2 的价值在于同时确保边界和帧间稳定性,采用何种模型大小,应根据目标视频的处理速度与内存预算来决定。