인공지능 모델을 서버에서 실행하는 도구인 SGLang이 새 모델 지원을 넓히고, 반복 입력을 재활용하는 캐시와 요청 처리의 기본 동작을 바꿨다. 모델 배포를 검토하는 개발팀에는 선택지가 늘었지만, 기존 서비스를 업그레이드할 때는 설치 경로와 호환성을 함께 확인해야 한다.

1. 새 모델과 서버 역할 전환

릴리스 노트는 DeepSeek-V4.1 Flash와 GigaChat 3.5를 신규 모델로 열거한다. 기존 서버 도구 안에서 새 모델을 검토할 수 있도록 지원 범위를 넓힌 변화다.

확산 모델 목록에는 DiffusionGemma와 Qwen-Image 2.1 등이 추가됐다. 언어·시각언어 모델뿐 아니라 확산 모델도 이번 지원 확대에 포함된다.

서버의 입력 준비 단계와 답변 생성 단계 사이에서 재시작 없이 역할을 바꾸는 기능도 들어왔다. 두 단계를 따로 운영하는 환경에서 서버 역할을 실행 중 전환할 수 있다는 변화다.

후보들을 한 요청으로 채점하는 Score API도 추가됐다. 별도로 Decisions API는 언어·시각언어 모델을 지연이 낮은 분류기와 채점기로 활용하는 기능이다. 응답 생성 이외의 판정 작업으로 서버 활용 범위를 넓히는 변화다.

2. 지원 목록과 설치 안내의 차이

릴리스 노트가 안내하는 업그레이드 명령은 다음과 같다.

uv pip install --prerelease=allow sglang==0.5.21

다만 모델 배포 문서에는 해당 모델 지원이 아직 릴리스에 포함되지 않았다는 설명이 남아 있고, NVIDIA용 미리보기 이미지인 lmsysorg/sglang:dev-dsv41을 안내한다. 신규 지원을 명시한 릴리스 노트와 설명이 일치하지 않는다. 이 명령만으로 모델 배포가 보장된다고 단정할 근거는 제시되지 않았다.

배포 문서는 하드웨어와 사용 목적에 맞는 검증된 조합을 선택하도록 구성돼 있다. 단일 사용자의 빠른 응답용 구성과 여러 사용자의 총처리량을 높이는 구성을 구분하므로, 모델 이름뿐 아니라 선택한 구성의 컨테이너 이미지도 함께 확인해야 한다.

3. 사고 과정 분리와 도구 호출

모델이 만든 사고 과정을 최종 답과 나누려면 이를 해석하는 파서를 켜야 한다. 파서는 이미 생성된 내용을 분리하는 장치이지 사고 자체를 켜는 스위치는 아니다. 사고는 기본적으로 꺼져 있으며, 요청에서 reasoning_effort에 none 이외 값을 보내면 켜진다.

도구 호출에도 전용 파서가 필요하다. 이 모델의 도구 호출 태그에는 공백이 들어가 기존 탐지기로는 해석되지 않기 때문이다. 구조화된 호출 대신 태그가 답변 본문에 보인다면 파서 설정부터 점검할 수 있다.

4. 빠른 응답과 메모리 확보의 대가

DSpark는 모델에 내장된 초안 생성 기능이다. 답변 조각을 먼저 예상하고 확인하는 방식으로 대화형 작업을 가속하지만, 한 번의 실행 비용이 커서 초안 길이에 비례해 빨라지지는 않는다. 문서는 수학·코드와 자유 대화의 채택률이 다르며, 큰 묶음으로 처리하는 고처리량 구성에서는 이 기능을 끈다고 설명한다.

선택형 기억 테이블 이동 기능은 GPU에 있던 표를 호스트 메모리로 옮겨, 이전 계산 결과를 담는 KV 캐시에 공간을 내준다. 문서에 따르면 이 이동 자체는 출력 비트를 바꾸지 않는다. 대신 호스트 메모리와 로딩 시간이 늘고, 데이터를 효율적으로 모으려면 큰 메모리 페이지가 필요하다.

접두사 캐시의 선택형 교체 정책에도 조건부 개선 수치가 있다. 에이전트 작업 기록을 재생하고 동시 실행 수를 32로 둔 시험에서, DeepSeek-V4-Pro의 4비트 구성과 B300 4개를 사용했을 때 토큰 사이 지연의 99백분위가 43.9% 줄었다. 응답 간격 중 느린 1%의 경계를 나타내는 수치이며, 새 모델의 일반적인 속도 향상률로 옮겨 읽을 수는 없다.

5. 기존 서비스가 확인할 기본값

반복되는 입력 앞부분의 계산을 재사용하는 접두사 캐시는 Rust 코어가 기본이 됐다. 지원하지 않는 구성은 Python으로 자동 대체된다. 요청이 앞부분을 공유할 때 결과를 꺼내 쓰는 캐시의 기본 구현이 바뀐 것이지, 서버 전체가 교체된다는 뜻은 아니다.

요청에 대화 템플릿 자체를 실어 보내는 동작도 기본적으로 거부된다. 서버에서 신뢰 옵션을 켜야 허용되며, 다른 템플릿 인자는 그대로다. 기존 클라이언트가 템플릿을 요청마다 전달했다면 업그레이드 시험에 포함할 항목이다.

FlashInfer의 전문가 혼합 연산 후처리는 수치 정확도를 위해 기본적으로 비활성화됐다. 그 대가로 가중치와 활성값을 각각 4비트로 쓰는 연산의 지연이 일부 늘어난다. 정확도 관련 기본값 변경을 단순한 성능 회귀로만 판단해서는 안 된다.

이번 버전은 모델 선택지를 넓히는 동시에 운영 기본값을 바꾸므로, 새 모델 시험과 기존 요청의 호환성 검사를 나눠 진행할 만하다.