llama.cppのb12381プレリリースビルドは、動画フレームの縦横比と回転情報を反映するよう修正された。動画入力を使う開発者が非正方形ピクセルの動画や回転メタデータを持つファイルを入力すると、モデルに渡されるフレームサイズが表示方向に合わせて計算されるようになる。
1. フレームサイズの計算を修正
今回の変更は、複数の形式のデータを扱うマルチモーダル入力処理に加えられた。リリースノートは、ピクセルの幅と高さの比を表すピクセルアスペクト比と、動画の回転の修正をまとめて紹介している。リンク先の変更リクエストは、それぞれ幅の調整と回転時の幅・高さの交換を説明している。つまり、一般的な動画入力全体を新たに導入したのではなく、既存の動画処理で画面に表示するサイズの解釈を改善した更新だ。
動画ファイルの幅と高さだけを読むと、ピクセルが正方形でない場合に表示上の画面比率を見落とすことがある。ピクセルアスペクト比を反映すると表示幅が変わる場合があり、回転角度が90度または270度なら、表示方向に合わせて幅と高さを入れ替える必要がある。変更後のコードは、ファイルからその情報を読み取り、フレームサイズを補正する。
2. デコードサイズと表示サイズを併せて扱う
コードはまずffprobeに動画の幅・高さ、ピクセルアスペクト比、回転情報を要求する。アスペクト比が妥当な範囲か確認してから幅に反映し、ffmpegがフレームを回転して出力する動作に合わせてサイズ情報を調整する。アスペクト比はファイルから得た値なので、0.1~10.0の範囲の値だけを適用し、分母が正でなければ既定の比率1.0を使う。
const double sar = sar_den > 0 ? (double) sar_num / sar_den : 1.0;
if (sar >= 0.1 && sar <= 10.0) { // the value is from the file, ignore it if it is not plausible
info.width = (uint32_t) std::nearbyint(info.width * sar);
}
// ffmpeg rotates the frames by default
if (rotation % 180 == 90 || rotation % 180 == -90) {
std::swap(src_width, src_height);
std::swap(info.width, info.height);
}ここで重要なのは、デコーダーが出力する元のフレームサイズと、画面に表示するサイズの区別だ。コードのコメントは、ffmpegがエンコード時のサイズのフレームを出力し、表示サイズにはピクセルアスペクト比が適用されると説明している。両者が異なる場合、後続の動画処理でリサイズが必要と判断する。フレームレートも指定されていれば、フィルターで併せて処理する。
3. マルチモーダルの動画入力に適用
同じコミットのマルチモーダルコマンドラインツールは、対話中に/video <path>の形式で動画を読み込む。ファイルパスを引数で渡す方法にも対応する。この補正は、フレームの形状をモデルに渡すサイズ情報に合わせる役割を担うため、非正方形ピクセルや回転情報を持つ動画の画面比率と向きを処理段階で保つ意義がある。
動画のデコードにはffmpegとffprobeが使われる。実行ファイルは既定でシステムパスから検索され、別のディレクトリを指定するオプションもソースにある。プレリリースビルドを使う開発者や動画入力を構成する開発者は、これらの実行ファイルが利用可能か確認し、必要ならパスを指定すればよい。
4. 正確な形状と追加変換のトレードオフ
表示比率と回転を反映すれば、歪んだ幅・高さの情報が渡される問題を減らせる。一方、補正後の表示サイズが実際のデコードサイズと異なれば、リサイズフィルターが追加される。コードにはこの場合の変換処理があるが、リリースノートと変更リクエストは、処理時間やメモリ使用量の測定結果を示していない。したがって、得られるのはフレームサイズ解釈の正確さであり、処理コストの増加量は動画と実行環境に応じて確認すべき点だ。
b12381の要点は、動画入力でピクセルの形状と回転方向を表示サイズに反映し、必要なサイズ変換は後続処理に任せた点だ。
