인텔이 자사 그래픽 카드에서 언어 모델을 실행하는 추론 패키지를 갱신했다. 로컬 추론을 평가하는 개발자는 더 넓어진 모델 지원과 낮은 정밀도로 모델을 실행하는 기능을 함께 살펴볼 수 있다. 답변 생성을 앞당기는 기능도 포함됐지만, 공개 이미지는 운영용이 아닌 데모용이다.

1. 기반 엔진과 이미지의 관계

2026년 10월 16일 공개된 이번 릴리스는 기반 엔진을 vLLM 0.14.0에서 vLLM 0.26.0으로 올렸다. 인텔 GPU용 패치가 적용된 구성이다.

배포 이미지는 intel/llm-scaler-vllm:1.5이며, 릴리스 노트는 intel/llm-scaler-vllm:0.26.0-b2와 기능상 동등하다고 설명한다. 따라서 두 태그를 서로 다른 기능 세대로 볼 근거는 없다.

2. 지원 모델과 양자화 경로

릴리스 노트는 Qwen3.6-27B와 Qwen3.8-27B를 지원 대상으로 명시했다. 두 모델은 블록 단위로 가중치를 낮은 정밀도에 담은 파일도 지원한다.

Qwen3.6-35B-A3B도 같은 지원 범위에 포함된다. 세 모델 모두 미리 양자화한 FP8 가중치를 사용할 수 있다.

젬마 계열에서는 gemma-4-26B-A4B-it과 gemma-4-31B-it을 명시했다. 기준 문서도 두 모델의 실행 중 양자화 지원을 명시했다.

온라인 양자화는 별도로 가공한 가중치 파일 대신 실행 시점에 수치의 표현 정밀도를 낮추는 방식이다. 이번 릴리스는 8비트 실수인 FP8과 대칭 4비트 정수인 INT4를 지원한다. 미리 양자화한 모델은 양자화 옵션을 다시 지정하지 않고 모델 경로를 넘기도록 안내한다.

3. 답변 생성과 맞춤 모델 서빙

MTP는 여러 토큰, 즉 문장을 구성하는 조각을 미리 예측하는 추측 디코딩 방식이다. 큐원 계열은 모델 자체의 예측 기능을 사용한다.

DFlash도 여러 토큰을 미리 제안해 확인하는 추측 디코딩을 제공한다. 릴리스 노트는 앞서 든 큐원 세 모델과 Muse-Glimmer-30B를 지원 대상으로 적었다. 기준 문서는 사용 여부를 비교할 때 나머지 서버·측정 설정을 같게 유지하도록 안내한다.

LoRA는 기본 모델 하나에 미세 조정한 변형을 붙여 서비스하는 기능이다. 학습한 변형을 담은 여러 어댑터를 함께 제공하고 실행 중 올리거나 내릴 수 있다. 릴리스 노트는 앞서 든 큐원·젬마 다섯 모델에서 이를 지원한다고 명시했다.

FP8 KV cache는 답변 생성에 재사용하는 중간 계산의 키·값을 낮은 정밀도로 저장한다. 가중치 양자화와 독립적으로 설정하므로 둘을 함께 사용할 수 있다. 다만 실행 중 캐시 스케일을 계산하는 기능은 모델·실행 환경 조합에 따라 지원되지 않는다.

미리 양자화한 파일 없이 실행하거나 기본 모델 하나로 여러 변형을 제공할 수 있다는 점은 이익이다. 반면 젬마의 다중 토큰 예측과 DFlash는 대상에 맞는 보조 모델 파일을 따로 준비해야 한다.

릴리스 노트가 지원 대상으로 든 큐원 3.8은 기준 문서의 다중 토큰 예측·어댑터·보조 모델 가속 검증 목록에는 없다. 지원 선언과 구체적인 실행 안내를 구분해야 한다.

4. 개선 주장과 확인 범위

인텔은 큐원과 젬마 모델의 첫 응답 토큰이 나올 때까지의 시간을 개선했다고 밝혔다. 다중 토큰 예측, 어댑터 서빙, 저정밀도 캐시 성능도 개선 항목이다. 다만 해당 항목의 측정 조건과 개선 폭을 보여주는 수치는 제시되지 않았다.

수정 사항에는 다중 토큰 예측과 접두사 캐시의 조합 오류가 포함된다. 접두사 캐시는 공통된 입력 앞부분의 계산을 재사용하는 기능이다. 대칭 4비트 정수 양자화 모델의 잘못된 출력도 수정했다. 블록 양자화 모델에서 동시 디코딩 중 출력이 손상되던 문제도 고쳤다. 이 목록을 모든 조합의 정확도 보장으로 확대해서는 안 된다.

5. 설치 전 확인할 조건

기준 문서는 Arc B60용 이미지 안내에서 고정되지 않은 최신 태그 대신 정확한 버전을 받도록 권한다. 다음은 원문의 다운로드 예시다. 자리표시자는 사용할 릴리스 버전으로 바꿔야 한다.

# Replace <VERSION> with the latest beta release version from the link above
docker pull intel/llm-scaler-vllm:<VERSION>

운영 환경에는 공개된 Dockerfile을 참고해 자체 이미지를 만들도록 안내한다.

시작 시 설정한 최대 문맥 길이가 가용 캐시 용량을 넘으면 서버가 시작되지 않는다. 시작 로그를 보고 길이를 줄이거나 메모리 사용 설정을 조정해야 한다.

뮤즈 글리머에서 이미지·영상도 처리하는 추론에는 Transformers 5.15.0이 필요하지만 이미지에는 Transformers 5.8.0이 들어 있다.

이번 버전은 로컬 추론의 선택지를 넓혔지만, 도입 판단은 기능 목록보다 모델별 실행 조건과 동일 조건의 검증에 두는 편이 타당하다.