언어 모델 서빙 도구 vLLM이 0.33.0에서 GPU용 기본 배포 기반을 바꾸고, 답변 후보를 미리 만든 뒤 확인해 출력하는 추측 디코딩을 확장했다. 언어 모델을 서비스하는 개발자는 업그레이드 때 설치 기반을 갱신하고, 초안 생성과 검증 방식을 더 폭넓게 선택할 수 있다.

1. CUDA용 배포물은 13.0으로 통일했다

개발진의 릴리스 노트에 따르면 CUDA용 휠, 파이썬 설치용 패키지 파일과 이미지는 CUDA 13.0만 제공한다. CUDA 12.9용 배포물은 더 이상 게시하지 않으므로, 이를 사용하던 개발자는 이번 버전으로 업그레이드할 때 새 기본 배포물로 옮겨야 한다.

기반 구성도 PyTorch 2.14.0과 Triton 3.8.0으로 올라갔다. 새 실행 기반과 함께 관련 구성 요소의 버전도 바뀌는 업데이트다.

CUDA용 기본 설치 명령은 다음과 같다. 릴리스 노트에 실린 명령을 그대로 옮겼다.

pip install vllm

AMD용 배포에서는 ROCm 10.0이 기본이 됐다. ROCm 7.2도 별도 이미지와 휠로 계속 제공해 이전 기반을 선택할 수 있다. CUDA용 배포물을 하나로 통일한 것과 달리 AMD 쪽은 두 배포 경로를 유지한다.

2. 초안을 다듬고 검증하는 경로를 늘렸다

추측 디코딩은 초안 모델이 다음 토큰 후보를 먼저 제안하고 본 모델이 이를 검증하는 방식이다. 이번에 추가된 XPress는 이렇게 만든 초안을 다듬는 역할을 맡는다. 대상에는 DFlash와 DSpark 같은 블록 확산, 여러 토큰을 묶어 생성하는 방식의 초안 모델이 포함된다.

Transformers 모델링 백엔드, 모델 실행을 맡는 기반에서도 MTP라는 여러 토큰 예측 방식의 초안 모델을 지원한다. 모델을 실행하는 이 경로에서도 여러 토큰을 예측하는 초안 방식을 사용할 수 있게 된 것이다.

EAGLE과 MTP에는 앞부분이 같은 요청의 계산 결과를 재사용할 때 마지막 블록을 유지하는 개선이 기본으로 켜졌다. 초안을 만드는 방식뿐 아니라 기존 계산을 다시 활용하는 경로도 함께 손본 셈이다.

3. 초안용 예산 예약을 없애 처리량을 높였다

DFlash와 DSpark는 토큰 예산에서 초안 슬롯, 미리 배정한 생성 공간을 미리 떼어 두지 않도록 바뀌었다. 요청 처리에 쓸 예산을 초안용으로 먼저 예약하던 동작을 없앤 변경이다.

릴리스 노트가 인용한 해당 변경의 벤치마크에서는 GB300에서 DeepSeek-V4.1-Flash와 DSpark를 함께 쓸 때 출력 처리량, 단위 시간에 처리하는 양이 초당 1373토큰에서 3390토큰으로 늘었다. 이는 초안 모델 자체의 추가뿐 아니라 예산 배분 변경도 성능 개선의 수단임을 보여 준다.

초안 모델 출력층을 양자화, 수치를 적은 비트로 표현하는 기능도 추가됐다. 개발진은 수치를 더 낮은 정밀도로 다루는 이 기능으로 동시 요청 1건에서 디코딩 성능이 18% 높아졌다고 릴리스 노트에 제시했다. 같은 초안 생성 경로 안에서도 예산 관리와 계산 방식이라는 서로 다른 개선 지점을 마련했다.

4. 특정 GPU와 모델을 위한 디코딩 최적화도 더했다

GB300에서는 응답 지연을 줄이는 데 특화된 디코딩을 선택해 쓸 수 있다. 개발진이 제시한 Kimi-K3 결과는 모델 계산을 GPU 8개 또는 16개로 나누는 구성에서 1.5~2배였다. DeepSeek-V4.1-Flash는 배치 크기 1에서 디코딩 단계가 18.3% 빨라졌다고 보고했다.

Humming은 DeepSeek-V4/V4.1의 MXFP4, 저정밀 수치 표현 형식의 전문가, 입력에 따라 선택되는 모델 구성 요소를 블록 단위 FP8, 8비트 부동소수점 형식으로 실행한다. 릴리스 노트에 따르면 H200 네 장을 쓴 구성에서 디코딩 성능은 9~21% 높아졌다. 모델 내부의 전문가 계산을 다른 수치 형식으로 실행하는 접근이다.

이들 성능 수치는 각각의 하드웨어와 모델·설정에 따른 결과이므로 서로 다른 구성의 개선 폭을 그대로 비교하기는 어렵다.

5. 속도 선택의 대가와 제거된 구성을 함께 살펴야 한다

FLy는 속도를 얻는 대신 검증의 엄밀성을 일부 양보하는 선택형 정책이다. 개발진이 릴리스 노트에서 제시한 디코딩 처리량은 MI355X와 B300에서 1.04~1.31배다. 처리량을 더 확보하는 이익과 검증 방식을 바꾸는 대가를 함께 판단할 수 있도록 선택 사항으로 제공된다.

기존 초안 생성 방식인 Medusa와 MLP speculator는 제거됐다. 새 초안 경로가 늘어나는 한편, 이 방식을 쓰던 서비스에는 대체 구성을 고르고 적용하는 작업이 생긴다.

기존 Ray 컴파일 그래프 실행기, 연산을 미리 묶어 실행하는 도구도 제거됐다. 해당 실행기를 사용하던 환경은 남은 실행 경로로 옮겨야 하므로, 업그레이드 계획에는 배포 기반 변경과 함께 기존 실행 구성의 교체도 포함해야 한다.

vLLM 0.33.0은 배포 기반을 CUDA 13으로 정리하고 추측 디코딩의 개선 지점을 넓힌 만큼, 기존 사용자는 설치·실행 구성의 전환과 성능 경로 선택을 함께 준비할 업데이트다.