llama.cpp 的 b12381 预发布构建已修正视频帧处理,使其反映宽高比和旋转信息。对于使用视频输入的开发者,当输入像素非正方形或带有旋转元数据的视频文件时,传递给模型的帧尺寸将按显示方向计算。

1. 修正帧尺寸计算

此次更改涉及多模态输入处理,即同时处理多种形式的数据。发行说明将像素宽高比与视频旋转的修正合并介绍,前者表示像素宽度与高度的比例。关联的变更请求分别说明了宽度调整,以及旋转时交换宽高的处理。因此,这并非全新引入通用视频输入功能,而是改进现有视频处理对屏幕显示尺寸的解读方式。

如果只读取视频文件的宽度和高度,当像素并非正方形时,就可能遗漏实际显示的画面比例。应用像素宽高比后,显示宽度可能改变;旋转角度为 90 度或 270 度时,还需按显示方向交换宽高。修改后的代码会从文件读取这些信息,以校正帧尺寸。

2. 同时处理解码尺寸与显示尺寸

代码首先向 ffprobe 请求视频宽高、像素宽高比及旋转信息。确认宽高比处于合理范围后,将其应用于宽度,并根据 ffmpeg 旋转后输出帧的行为调整尺寸信息。由于宽高比来自文件,仅应用 0.1~10.0 范围内的值;分母不是正数时,则使用默认比例 1.0。

        const double sar = sar_den > 0 ? (double) sar_num / sar_den : 1.0;
        if (sar >= 0.1 && sar <= 10.0) { // the value is from the file, ignore it if it is not plausible
            info.width = (uint32_t) std::nearbyint(info.width * sar);
        }
        // ffmpeg rotates the frames by default
        if (rotation % 180 == 90 || rotation % 180 == -90) {
            std::swap(src_width, src_height);
            std::swap(info.width, info.height);
        }

这里的重要区别在于,解码器输出的原始帧尺寸与屏幕显示尺寸并不相同。代码注释说明,ffmpeg 按编码尺寸输出帧,而显示尺寸则应用了像素宽高比。如果两种尺寸不同,后续视频处理就会判定需要缩放。若还指定了帧率,也会在滤镜中一并处理。

3. 应用于多模态视频输入

同一提交中的多模态命令行工具可在对话中通过 /video <path> 格式加载视频,也支持将文件路径作为参数传入。此时,校正会将帧的形状与传递给模型的尺寸信息相匹配。因此,对于像素非正方形或带有旋转信息的视频,这有助于在处理阶段保持画面比例和方向。

视频解码使用 ffmpeg 和 ffprobe。默认从系统路径查找可执行文件,源码中也提供了指定单独目录的选项。使用该预发布构建或配置视频输入的开发者,应确认这些可执行文件可用,并在需要时指定路径。

4. 准确形状与额外转换之间的取舍

反映显示比例和旋转信息,有助于减少传递失真宽高信息的问题。但如果校正后的显示尺寸与实际解码尺寸不同,就会增加缩放滤镜。代码包含了这种情况下的转换处理,但发行说明和变更请求并未提供处理时间或内存用量的测量数据。因此,收获在于帧尺寸解读的准确性,而处理成本增加多少,仍需结合视频和运行环境确认。

b12381 的核心在于,将视频输入的像素形状和旋转方向反映到显示尺寸中,并将必要的尺寸转换交由后续处理完成。