언어 모델을 서비스하는 개발자를 위한 vLLM 새 버전은 메모리 절약용 캐시의 지원 범위를 넓히고, 모델 응답을 해석하는 범용 파서를 추가했다. 기존 서비스를 옮길 때는 성능 개선뿐 아니라 브라우저 접근 제한과 요청 처리 방식의 변경도 확인해야 한다.

1. NVFP4 캐시 지원 확대와 성능 조건

캐시는 앞서 처리한 토큰의 정보를 저장해 재사용하는 공간이다. 이를 적은 비트로 저장하는 NVFP4 형식의 지원 범위가 넓어졌다.

GPU 아키텍처 계열인 SM8x와 SM12x에서도 이 형식을 쓸 수 있다.

SM90에서도 지원하며, SM12x에서는 이미 처리한 내용을 이용해 다음 토큰을 생성하는 디코드 단계의 전용 경로에도 적용된다. 지원 범위 확대를 전체 하드웨어의 기본값 변경으로 읽어서는 안 된다.

GLM-5.x는 SM100에서 8비트 부동소수점 캐시를 기본으로 사용한다. 릴리스 노트는 처리량이 2.3~5.5% 늘었다고 보고한다([#60140](https://github.com/vllm-project/vllm/pull/60140), [#60281](https://github.com/vllm-project/vllm/pull/60281)).

SM90에서는 fp8_ds_mla 캐시 경로가 추가됐다.

이 경로에서 GLM-5.3-Flash의 출력 처리량은 최대 31% 늘었다고 보고한다([#59246](https://github.com/vllm-project/vllm/pull/59246)). 두 처리량 수치의 구체적인 비교 기준과 부하 조건은 원문에 없어, 각각 해당 모델·하드웨어 경로에서 보고된 개선치로만 봐야 한다.

AMD GPU용 실행 환경인 ROCm에는 ultraquant_4bit라는 4비트 캐시가 추가됐다. 저장 밀도는 8비트 부동소수점 캐시의 약 2배다([#57057](https://github.com/vllm-project/vllm/pull/57057)). 앞선 처리량 수치는 모델과 경로가 달라 서로 비교할 수 없으며, 저장 밀도 역시 처리 속도와는 다른 지표다.

2. 구조화된 판단과 범용 파서

새 POST /v1/systemone은 구조화된 상태를 바탕으로 선택이나 점수 등에 관한 질문에 답하는 API이며 기본으로 제공된다. 요청·응답 예시는 릴리스 노트에 제시되지 않았다.

hf 파서는 저장된 모델 파일에 담긴 response_template을 읽는다. 응답 형식의 설명서를 모델과 함께 받는 셈으로, 이를 제공하는 모델은 도구 호출과 추론 내용을 해석하는 전용 파서가 필요 없다.

파이썬과 러스트 프런트엔드 모두 지원한다. 도구 호출에는 --tool-call-parser hf, 추론에는 --reasoning-parser hf 옵션으로 이 파서를 선택한다.

3. 보안 수정과 입력 제한

보안 권고 세 건에 대응했다. 채팅 템플릿은 실행 전에 검사하고 실행 시간을 제한해 자원 고갈에 대응한다([Security #50300](https://github.com/vllm-project/vllm/pull/50300)).

브라우저의 다른 출처 접근을 제어하는 CORS는 더 이상 기본으로 모든 출처를 허용하지 않는다. 브라우저 클라이언트를 연결하려면 허용할 출처를 별도로 지정해야 한다([Security #61009](https://github.com/vllm-project/vllm/pull/61009)).

신뢰하지 않는 이미지는 픽셀로 표현하는 래스터 형식만 허용한다. 따라서 EPS와 WMF 형식은 거부된다([Security #60022](https://github.com/vllm-project/vllm/pull/60022)).

이미지·음성 등 여러 종류의 입력을 다루는 공유 메모리 멀티모달 캐시의 참조 정보에는 위조를 확인하는 서명을 붙이고, 위조된 참조는 거부한다([Security #59357](https://github.com/vllm-project/vllm/pull/59357)).

구조화 출력용 JSON 스키마가 64단계보다 깊게 중첩되면 HTTP 400을 반환한다. 출력 형식의 규칙을 지나치게 깊게 쌓은 요청을 거절하는 것이다([Security #60036](https://github.com/vllm-project/vllm/pull/60036)).

캐시 밀도 향상과 범용 파서는 메모리 활용과 모델별 연동 부담을 개선한다. 반면 강화된 접근·입력 제한은 기존 브라우저 연결과 이미지 처리 경로를 수정하는 비용으로 이어질 수 있다.

4. 설치 환경과 제거된 기능

파이썬 3.10 지원이 끝나 최소 버전은 3.11이 됐다.

CUDA 소스 빌드에는 GCC 13이 필요하며 충족하지 못하면 빌드 초기에 실패한다.

사전 빌드 패키지는 CUDA 13.0 기준으로 다음과 같이 설치한다.

pip install vllm

torch.compile의 컴파일 과정에서 시퀀스를 나눠 병렬 처리하도록 최적화하던 기능은 제거됐다. 다만 모델 자체에서 시퀀스를 나눠 처리하는 병렬화 기능은 유지된다.

5. 요청과 응답의 호환성 변화

max_tokens는 컨텍스트 창에서 미리 예약하는 값이 아니라 출력 상한이 됐다. 출력분을 예약하느라 긴 입력을 거부하던 동작이 사라진 것이지, 모델이 받아들이는 전체 길이가 무제한이 된다는 뜻은 아니다([#57035](https://github.com/vllm-project/vllm/pull/57035)).

Responses API의 추론 이벤트 이름으로 분기하는 클라이언트는 수신 코드를 점검해야 한다([#59652](https://github.com/vllm-project/vllm/pull/59652)).

시작 이벤트는 response.reasoning_part.added에서 response.content_part.added로 바뀌었다.

종료 이벤트는 response.reasoning_part.done에서 response.content_part.done으로 바뀌었다.

이때 part.type="reasoning_text"로 추론 내용을 구분한다.

이번 업그레이드는 캐시와 파서의 지원 확대를 활용하되, 보안 기본값과 기존 요청의 호환성을 함께 점검하는 전환으로 봐야 한다.