llama.cpp b12098: Qwen3-VL 영상 형식 지원, 프레임 샘플링 정합

1. 모델에 맞는 영상 입력을 자동 선택

2026년 11월 4일 공개된 b12098은 Qwen3-VL의 영상 프롬프트 형식을 지원한다. 영상에서 고른 프레임과 시간 표기를 모델에 전달하는 부분이 이번 릴리스의 변경 항목이다.

이 변경은 영상과 음성 등을 처리하는 mtmd, 여러 형식 입력을 다루는 모듈에 적용됐다. Qwen3-VL 모델을 판별하면 해당 영상 처리 설정을 선택하며, 프레임을 고르는 규칙과 시간 표기가 그 설정을 따른다. 개발자가 형식을 직접 조합하는 대신 모델별 처리 경로에 맡기는 구조다.

2. 프레임 사이에 시간 정보를 배치

영상은 프레임 두 개를 한 묶음으로 보내고 묶음 앞에 시간 표기를 둔다. 사진 두 장 앞에 촬영 시각을 붙이듯, 묶음의 가운데 시각을 먼저 알려 주는 방식이다. 아래 테스트 표기에서 대괄호 숫자는 원본 영상의 프레임 번호를 나타낸다.

PR 테스트는 transformers 4.57.1의 Qwen3VLProcessor가 만든 결과와 비교하는 고정 입력을 둔다. 아래 코드는 그 테스트의 기대 문자열 일부로, 입력 프레임 크기와 시간·프레임 순서가 지정돼 있다.

        { {  720, 358, 24.0f, 240 }, { 704, 352 },
            "<0.3 seconds>[0][13]<1.3 seconds>[25][38]<2.4 seconds>[50][63]<3.4 seconds>[75][88]<4.5 seconds>[101][113]"
            "<5.5 seconds>[126][138]<6.6 seconds>[151][164]<7.6 seconds>[176][189]<8.6 seconds>[201][214]<9.7 seconds>[226][239]" },

3. 영상 전체에서 프레임을 고르는 규칙

설정은 초당 2프레임을 기준으로 영상 길이에 따른 선택 수를 계산한다. Qwen3-VL 영상 처리에서는 이를 4~768개 범위로 제한하되, 원본 프레임이 더 적으면 실제 원본 수까지만 선택한다. 따라서 초당 기준과 전체 선택 수 상한이 함께 입력 규모를 정한다.

선택할 수가 정해지면 원본의 첫 프레임부터 마지막 프레임까지 고르게 번호를 배치한다. 긴 영상에서 상한에 도달하면 같은 수의 프레임이 더 긴 시간대를 나눠 대표한다. 단순히 영상 앞부분만 잘라 보내는 대신 전체 구간에서 장면을 추리는 방식이다.

4. 프레임 수에 맞춰 화면 크기도 조정

프레임 크기는 기준 입력을 만드는 프로그램인 참조 처리기와 같은 방식으로 계산한다. 가로·세로를 모델이 처리하는 격자 간격에 맞추고, 프레임 수까지 반영한 픽셀 한도에 맞게 확대하거나 축소한다. 테스트는 patch_size 16과 n_merge 2라는 공통 설정에서 입력별 크기 기대값을 확인한다.

아래 표는 같은 크기 조정 규칙에 서로 다른 입력을 넣은 테스트 사례다. 가로·세로는 픽셀이며, 프레임 수는 크기 계산에 전달한 값이다.

표: 공통 크기 조정 규칙의 입력별 기대값

조건: patch_size 16, n_merge 2, Qwen3VLVideoProcessor smart_resize 기준, 픽셀 하한 4096·상한 25165824, 시간 방향 묶음 크기 2

단위: 프레임 수는 개, 가로·세로는 픽셀

테스트 주석은 작은 변이 격자 간격보다 작으면 먼저 확대하고, 픽셀 한도를 넘으면 크기를 줄이는 사례를 담고 있다. 프레임을 많이 넣는 사례에서는 각 프레임의 해상도를 낮춰 전체 입력 규모를 조절한다는 설계를 읽을 수 있다.

5. 참조 형식 일치와 영상 정보량의 맞교환

이번 변경의 이점은 시간 표기와 프레임 배열, 화면 크기를 Qwen3-VL의 참조 처리 방식에 맞춘다는 점이다. 그 대가로 프레임을 추리고 화면 크기를 조정하므로, 긴 영상에서는 장면을 고르는 간격이 넓어지고 픽셀 한도에 따라 세부 정보도 줄어든다.

구현은 기존 LFM3의 영상 처리 구조를 바탕으로 입력 순서를 테스트에서 재현할 수 있게 정리했다. 새 검증용 구성 요소는 애플리케이션에서 직접 쓰는 대상이 아닌 내부용으로 표시돼 있다.

표와 코드의 값은 참조 처리기의 기대값을 확인하기 위한 것으로, 모델 응답 품질이나 처리 속도의 측정치는 아니다.

b12098의 핵심은 Qwen3-VL 영상의 프레임과 시간 정보를 참조 형식에 맞춰 입력하는 경로를 마련한 것이다.