엔비디아의 대형 언어 모델 추론 도구가 지원 모델을 늘리고 캐시 관리자의 파이썬 구현을 없앴다. 새 모델 도입을 검토하는 개발자에게는 선택지가 늘었지만, 기존 구현에 의존한 서비스는 설정과 이벤트 수집 방식을 점검해야 한다.

1. 모델 지원과 준비 조건

2026년 10월 14일 공개된 이번 사전 공개 버전은 PyTorch 백엔드에 GLM-5.3-Flash를 추가했다. 텍스트·이미지·비디오 입력을 지원한다. 공식 8비트 부동소수점 모델 가중치를 그대로 사용하는 방식이다.

모델 지원 변경안의 배포 가이드는 통합 서빙에 B200 4장, 입력 처리와 출력을 별도 작업자로 나누는 분리형 서빙에 8장을 제시한다. 운영체제는 리눅스이며 CUDA 드라이버는 575 이상이 필요하다.

텍스트 전용 서비스는 함께 설치되는 Transformers 라이브러리로 동작한다. 이미지·비디오 입력에는 아래 설치가 필요하다.

  pip install "transformers==5.17.0"

컨테이너에는 fla-core와 einops도 설치해야 한다.

영상 디코딩에는 opencv-python-headless가 추가로 필요하다.

2. 속도 수치는 시험 조건 안에서 읽는다

다중 토큰 예측은 다음에 올 토큰을 여러 개 미리 제안하는 방식이다. 모델 지원 PR #19136의 배포 가이드는 TensorRT LLM 1.3.0rc29와 B200 4장에서 이를 측정한 결과를 제시한다.

8비트인 FP8 가중치와 16비트인 BF16 캐시를 사용했고 입력·출력 길이는 각각 1,024토큰이었다. 무작위 입력의 시드는 0이며 가장 확률이 높은 토큰을 고르고 종료 토큰을 무시했다. 동시 요청 수의 두 배로 예열한 뒤, 다섯 배의 요청을 보내는 측정을 두 번 했다. 예측 토큰의 채택률은 인위적으로 고정하지 않았다.

동시 요청 1개에서 모델 계산과 입력에 따라 선택적으로 일하는 하위 신경망인 전문가 모듈을 각각 네 장에 나누고 3토큰을 예측했을 때 사용자당 초당 389토큰, GPU당 92토큰이었다. 같은 조건에서 예측을 끄면 토큰당 평균 5.57밀리초, 사용자당 초당 180토큰으로, 단일 사용자 생성 속도는 약 2.2배 차이가 났다.

동시 요청 256개에서는 입력의 어느 부분을 참고할지 계산하는 어텐션 작업의 요청을 네 GPU 프로세스에 나누고 전문가 모듈도 네 장에 분산했다. 1토큰 예측으로 GPU당 초당 2,735토큰을 기록했으며, 배치 한도는 프로세스마다 64다.

사용자당 수치는 첫 토큰 대기 시간을 제외하지만 GPU당 수치는 입력 처리와 첫 토큰 대기를 포함한다. 이 결과는 시험한 구성과 동시 요청 범위의 값이지 최대 처리량을 입증한 값은 아니다.

수학 문제 평가에서는 추론 모드로 1,319문제에 가장 확률이 높은 토큰을 고르는 방식과 출력 예산 4,096토큰을 적용했을 때 허깅페이스 구현과의 정확도 차이는 0.08%포인트 이내였다.

3. 캐시 관리 구현은 한 벌로 줄인다

KV 캐시는 앞서 처리한 토큰의 계산 결과를 보관하는 저장소다. PR #19154는 이를 관리하는 KVCacheManagerV2에서 파이썬 구현을 제거했다. 이미 기본값이던 구현만 남겨, 같은 키 계산·데이터 퇴출·통계 로직을 두 벌로 맞추던 부담을 줄였다.

파이썬에서 가져다 쓰는 패키지 자체가 사라진 것은 아니다. 남은 패키지는 C++로 작성된 구현을 연결해 노출한다. 백엔드 선택 환경 변수와 파이썬 구현 가속용 빌드 옵션도 제거됐으므로, 이를 지정한 배포·빌드 절차는 수정 대상이다.

4. 이벤트 수집은 변경 시점을 구분한다

제거 PR은 캐시 변화를 즉시 내보내던 파이썬 스트리밍 경로도 없앴다. 해당 변경에서 kv_cache_config.kv_events_config는 시작 시 거부되며, 대안은 kv_cache_config.event_buffer_max_size로 이벤트를 모아 반복 단위로 꺼내는 경로다.

다만 최종 릴리스 목록에는 PR #19359의 C++ 스트리밍 이벤트 지원도 별도로 올라 있다. 제거 PR만으로 이번 버전의 스트리밍 전체가 미지원이라고 단정할 수 없다. 기존 설정과 새 경로의 호환 관계는 제공 자료에 제시되지 않았다.

5. 도입 이익과 이전 비용

캐시 정밀도도 선택의 문제다. 8비트 부동소수점 캐시는 압축된 키·값 표현의 저장 공간을 절반으로 줄인다. 다만 선택한 캐시 행을 계산용 정밀도로 변환한 뒤, 작은 묶음으로 임시 공간에 옮겨 어텐션을 호출하는 과정을 반복한다. 이 추가 작업 때문에 큰 입력에서는 첫 토큰 대기 시간이 늘고 입력 처리량이 낮아질 수 있다. 위치를 찾는 색인과 순환 계산의 상태 정밀도는 그대로다.

모델의 앞부분 계산을 재사용하려면 중간 상태를 주기적으로 저장하는 정책이 필요하다.

GLM-5.3-Flash는 여러 후보를 유지하며 답을 고르는 빔 탐색을 지원하지 않는다.

릴리스에는 H100에서 모델 계산을 두 GPU에 나누는 구성인 텐서 병렬도 2로 스트리밍·원격 실행 작업을 수행할 때, 모델 객체 사이에서 프로세스 통신용 작업자 풀을 재사용하면 초기화가 멈출 수 있다는 알려진 문제도 있다.

저장된 공식 릴리스 노트는 1.3까지만 다루므로 릴리스 목록과 각 PR을 함께 읽어야 한다.

이번 버전은 모델 선택지 확대와 구현 단순화가 핵심이며, 도입 판단은 기존 캐시 설정의 이전 가능성까지 확인한 뒤 내려야 한다.