llama.cpp의 b12381 사전 공개 빌드가 영상 프레임의 가로세로 비율과 회전 정보를 반영하도록 고쳤다. 영상 입력을 쓰는 개발자는 픽셀이 정사각형이 아닌 영상이나 회전 메타데이터가 있는 파일을 넣을 때, 모델에 전달되는 프레임 크기가 표시 방향에 맞게 계산되는 변화를 받는다.

1. 프레임 크기 계산을 바로잡다

이번 변경은 멀티모달, 여러 형식의 데이터를 함께 다루는 입력 처리에 들어갔다. 릴리스 노트는 픽셀 종횡비, 픽셀의 가로와 세로 비율을 나타내는 값과 영상 회전을 고친 변경을 하나로 소개하며, 연결된 변경 요청은 각각 가로 크기 조정과 회전 시 가로·세로 교환을 설명한다. 따라서 일반적인 영상 입력 전체를 새로 도입한 것이 아니라, 기존 영상 처리에서 화면에 표시되는 크기를 해석하는 방식을 다듬은 업데이트다.

영상 파일의 폭과 높이만 읽으면 픽셀의 모양이 정사각형이 아닐 때 표시되는 화면 비율을 놓칠 수 있다. 픽셀 종횡비를 반영하면 표시 폭이 달라질 수 있고, 회전 각도가 90도 또는 270도이면 표시 방향에 맞춰 폭과 높이의 자리를 바꿔야 한다. 변경된 코드는 파일에서 해당 정보를 읽어 프레임 크기를 보정한다.

2. 디코딩 크기와 표시 크기를 함께 다룬다

코드는 먼저 ffprobe에 영상 폭·높이와 픽셀 종횡비, 회전 정보를 요청한다. 종횡비가 합리적인 범위인지 확인한 뒤 폭에 반영하고, ffmpeg이 프레임을 회전해 내보내는 동작에 맞춰 크기 정보를 조정한다. 종횡비는 파일에서 얻은 값이므로 0.1~10.0 범위의 값만 적용하며, 분모가 양수가 아니면 기본 비율 1.0을 사용한다.

        const double sar = sar_den > 0 ? (double) sar_num / sar_den : 1.0;
        if (sar >= 0.1 && sar <= 10.0) { // the value is from the file, ignore it if it is not plausible
            info.width = (uint32_t) std::nearbyint(info.width * sar);
        }
        // ffmpeg rotates the frames by default
        if (rotation % 180 == 90 || rotation % 180 == -90) {
            std::swap(src_width, src_height);
            std::swap(info.width, info.height);
        }

여기서 중요한 구분은 디코더가 내놓는 원본 프레임 크기와 화면에 표시할 크기다. 코드 주석은 ffmpeg이 인코딩된 크기의 프레임을 내놓고, 표시 크기에는 픽셀 종횡비가 적용된다고 설명한다. 두 크기가 다르면 후속 영상 처리에서 크기 조절이 필요하다고 판단한다. 프레임 속도도 지정돼 있다면 필터에서 함께 처리한다.

3. 멀티모달 영상 입력에 적용

같은 커밋의 멀티모달 명령행 도구는 대화 중 /video <path> 형식으로 영상을 불러온다. 파일 경로를 인자로 주는 방식도 지원한다. 이때 보정은 프레임의 모양을 모델에 전달할 크기 정보에 맞추는 역할을 하므로, 비정사각 픽셀이나 회전 정보가 있는 영상의 화면 비율과 방향을 처리 단계에서 유지하는 데 의미가 있다.

영상 디코딩에는 ffmpeg과 ffprobe가 사용된다. 실행 파일은 기본적으로 시스템 경로에서 찾으며, 별도 디렉터리를 지정하는 옵션도 소스에 있다. 릴리스의 사전 공개 빌드를 사용하거나 영상 입력을 구성하는 개발자는 해당 실행 파일이 이용 가능한지 확인하고, 필요하면 경로를 지정하면 된다.

4. 정확한 모양과 추가 변환의 맞교환

표시 비율과 회전을 반영하면 왜곡된 폭·높이 정보가 전달되는 문제를 줄일 수 있다. 반면 보정한 표시 크기가 실제 디코딩 크기와 다르면 크기 조절 필터가 추가된다. 코드에는 이 경우의 변환 처리가 있지만, 릴리스 노트와 변경 요청은 처리 시간이나 메모리 사용량을 측정해 제시하지 않는다. 따라서 얻는 것은 프레임 크기 해석의 정확성이며, 처리 비용이 얼마나 늘어나는지는 영상과 실행 환경에 따라 확인할 부분이다.

b12381의 핵심은 영상 입력에서 픽셀 모양과 회전 방향을 표시 크기에 반영하고, 필요한 크기 변환은 후속 처리에 맡긴 점이다.