대형 언어 모델 추론 엔진 vLLM이 남는 GPU 메모리를 더 활용하는 캐시 확장을 기본으로 켜고, GPU에서 모델을 실행하는 경로를 하나로 통합한 새 버전을 공개했다. 모델 서비스를 만드는 개발자는 여러 요청을 함께 처리할 여유를 얻고, 배포할 때 관리할 실행기 선택지도 줄어든다.
1. 추정 대신 실제 여유 메모리로 캐시를 확장
새 방식은 CUDA와 ROCm에서 실행 전 준비를 하는 워밍업과 GPU 실행 순서를 미리 기록하는 그래프 캡처를 마친 뒤, 실제로 비어 있는 메모리를 기준으로 캐시 크기를 정한다. 사용량을 추정해 공간을 남겨 두던 방식에서, 준비가 끝난 뒤 남은 공간을 재는 방식으로 바뀐 셈이다.
vLLM 프로젝트 발표 기준, H200의 MiniMax-M3 캐시는 43만3천 토큰에서 67만2천 토큰으로 커졌다. 프로젝트는 큰 캐시가 동시 요청이 많은 상황에서 처리량, 단위 시간에 처리하는 작업량을 높이고 첫 토큰 지연을 줄인다고 설명했다.
확장 캐시가 켜져 있고 사용자가 값을 따로 지정하지 않았을 때 GPU 메모리 사용률 기본값은 1.0이다. 기존 캐시 산정을 유지할 선택지도 제공하며, 적용 옵션은 아래 업그레이드 항목에 모았다.
2. GPU 실행기는 두 번째 버전으로 일원화
vLLM 0.34.0에서는 GPU에서 모델을 구동하는 Model Runner의 첫 번째 버전이 제거되고 두 번째 버전만 남았다. 배포 설정을 새 실행기에 맞추는 일이 이번 업그레이드의 핵심 작업이다.
다음 출력 후보의 점수를 조정하는 기존 로짓 처리기 코드는 vllm.v1.worker.gpu.sample.logits_processor로 옮겨야 한다.
두 작업 묶음의 실행을 겹치는 기능도 새 실행기에서 동작한다. 다음 출력을 미리 제안하는 추측 디코딩과도 함께 쓸 수 있어, 실행기 통합 뒤에도 이 조합을 활용할 수 있다.
3. 긴 입력과 출력 생성에 맞춘 하드웨어별 개선
출력 토큰을 생성하는 디코드 단계도 개선됐다. vLLM 프로젝트 발표 기준, GB200 4개에서 TRTLLM-Gen으로 실행한 Step5의 디코드 속도는 최대 1.95배였다. 이 수치는 Step5의 NVFP4 MoE를 TRTLLM-Gen에서 실행한 구성에 대해 발표된 값이다.
엔비디아 환경의 GLM-5.3-Flash에 적용한 전문가 모델 연산 경로인 DeepGEMM FP8 MegaMoE는 프로젝트 발표 기준, 비교 경로인 DEP4 대비 출력 처리량이 1.6배였다.
긴 입력에서는 필요한 부분을 골라 참조하고 입력 처리 작업을 토큰 단위로 나누는 경로가 개선됐다. 모델 연산을 여러 GPU에 나누는 텐서 병렬 실행에서 입력 처리 토큰이 1024개 이상이면 기본 적용된다.
프로젝트 발표 기준, GB200에서 GLM-5.3을 텐서 병렬로 실행하고 32K~128K 길이의 프롬프트를 처리했을 때 첫 토큰 응답이 1.24~1.40배 빨라졌다.
별도로 켜는 출력 최적화도 있다. 프로젝트 발표 기준, GB300에서 Kimi-K3의 캐시 작업을 균형 있게 나누며 입력 정보를 참조하는 어텐션 경로는 디코드 어텐션 성능이 1.34~1.59배로 개선됐다.
프로젝트 발표 기준, Muse Spark Open의 선택형 특화 경로는 GB300에서 단일 스트림 디코드 속도가 1.5배였다.
프로젝트 발표 기준, 엔비디아 환경의 Qwen3.5는 torch.compile 없이 중단 가능한 CUDA 그래프를 사용해 출력 토큰 간 지연이 3.0~8.8% 낮아졌다.
AMD 쪽에서는 프로젝트 발표 기준, MI355X 8개로 Muse Spark Open을 DSpark 추측 디코딩과 함께 실행하고 출력 생성 연산을 한 번에 묶는 최적화를 적용했을 때, 동시 요청 1~8개에서 상호작용 지표가 35~57% 개선됐다.
4. 기본값을 유지할지 기존 설정을 쓸지 선택
캐시를 나누는 기본 블록 크기는 16에서 64로 바뀌었다. 선호 크기를 지정한 백엔드는 자체 값을 우선하며, ROCm의 페이징 어텐션, 블록 단위로 메모리를 관리하는 방식은 계속 16을 쓴다. 사용자가 명시한 블록 크기도 우선 적용된다.
릴리스 노트에 실린 기본 CUDA 설치 명령은 다음과 같다.
pip install vllm기존 캐시 산정을 유지하려면 실행 설정에서 메모리 사용률을 0.9로 지정하거나 확장 캐시를 끄는 옵션 중 하나를 선택한다. 아래 첫 두 줄이 각각 그 선택지이며, 마지막 줄은 이전 블록 크기를 지정하는 별도 옵션이다.
--gpu-memory-utilization 0.9
--no-enable-extensible-kv-cache
--block-size 16AMD 배포물은 ROCm 7.2 대신 10.0용 배포 설치 패키지인 휠과 이미지를 사용한다.
5. 동시 처리 이득과 배포 전 점검을 함께 판단
더 많은 메모리를 캐시에 배정하는 이익은 여러 요청을 수용할 공간이 커진다는 점이다. 그 대가로 vLLM 프로젝트 발표 기준, 일부 H200 모델에서는 동시 요청 128개 조건에서 토큰당 디코드 지연이 6~18% 늘 수 있다.
배포 전에는 이전 실행기를 선택하는 환경 변수 설정도 제거해야 한다. VLLM_USE_V2_MODEL_RUNNER=0을 남겨 두면 시작 단계에서 실패한다.
서비스를 평가할 때는 동시에 받아들이는 요청 수와 각 요청의 출력 간격을 함께 살펴야 한다. 입력이 긴 서비스라면 첫 토큰 응답 개선을, 출력을 오래 생성하는 서비스라면 생성 속도와 지연 변화를 중심으로 해당 하드웨어의 결과를 읽는 편이 유용하다.
vLLM 0.34.0의 핵심은 실제 여유 메모리를 활용하는 캐시 확장이며, 운영자는 동시 처리량의 이득과 디코드 지연 변화를 함께 보고 설정을 선택해야 한다.
