언어 모델을 서비스하는 개발자를 위한 SGLang이 맥의 실행 방식을 늘리고, 모델 로딩과 분리형 서버의 처리량을 개선했다. 로컬 개발과 대규모 서비스의 선택지가 넓어졌지만, 성능 이득은 저장장치와 요청 구성에 따라 달라진다.

1. 맥에서도 표준 파이토치 경로를 쓴다

2026년 10월 19일 공개된 v0.5.22는 애플 실리콘에서 기존 맥 전용 실행 경로와 별도로 표준 파이토치 경로를 추가했다. 다른 가속기와 공유하는 작업 배분·모델 실행 코드를 맥에서도 시험할 수 있다.

새 경로는 가중치를 압축한 모델이나 텍스트 외 입력을 받는 모델, 다중 장치 실행을 지원하지 않는다. 다음 토큰을 미리 추정해 검증하는 생성 방식과 분리 서빙도 제외된다.

맥은 CPU와 GPU가 메모리를 공유하므로, 물리 메모리 전체가 아닌 운영체제 권장 예산을 기준으로 캐시 크기를 계산한다. 맥 검증은 M4 Pro 48 GB에서 Qwen3-0.6B를 이 예산의 0.6을 정적 메모리에 배정해 실행했다. 수학 문제 200문항에 예시 5개를 주고 동시 실행 8개로 측정한 정확도는 0.425였다.

같은 장비·모델의 온라인 서빙은 무작위 요청 40개, 입력 256토큰·출력 128토큰, 최대 동시 요청 8개에서 입력과 출력을 합쳐 초당 213.49토큰을 처리했다. 이는 맥 실행 검증이지 다른 가속기보다 빠르다는 비교는 아니다.

2. 모델 로딩은 저장장치 조건을 봐야 한다

선택형 로더인 인스턴트텐서는 가중치를 나눠 읽고 다음 데이터를 미리 가져온다. 기존 파일 탐색 절차를 유지하며, 아래처럼 별도 설치 후 지정한다.

지원 장치는 CUDA와 ROCm이며 맥용 새 실행 경로에는 적용되지 않는다. 파일은 세이프텐서(Safetensors) 형식만 지원한다.

pip install "sglang[instanttensor]"

python -m sglang.launch_server \
  --model-path Qwen/Qwen3.5-4B \
  --load-format instanttensor \
  --model-loader-extra-config '{"backend":"URING","chunk_size":8388608,"io_depth":64}'

로딩 비교에서 초당 50 GB 저장장치와 H200 8장으로 DeepSeek-R1의 가중치를 읽을 때 기존 로더의 160초가 15.3초로 줄어 10.5배 빨라졌다. 저장 공간을 메모리에 둔 경우 같은 모델·장비의 22.6초가 12.1초로 줄어 1.87배였다. 서버 준비까지의 전체 시간이 아닌 가중치 로딩 시간이다.

초당 50 GB 저장장치에서 Qwen3-30B-A3B를 H200 1장으로 읽은 시간은 기존 로더 57.4초, 새 로더 1.77초였다. 앞선 결과와는 모델·장치 수가 달라 직접 비교할 수 없다.

3. 분리 서빙은 메모리 예약 시점을 바꾼다

분리 서빙은 입력을 한꺼번에 처리하는 단계와 토큰을 차례로 생성하는 단계를 다른 서버에 맡긴다. 새 선택 정책은 입력 처리가 끝날 때까지 생성 서버의 중간 계산 저장공간인 KV 캐시 예약을 미룬다. 아직 생성할 수 없는 긴 요청이 자리를 선점하는 일을 줄이며, 계산 자체를 빠르게 하는 방식은 아니다.

분리 정책의 과거 실험은 GLM-5.2-NVFP4와 루빈 GPU 12장, 3단계 다중 토큰 예측을 썼다. 입력 처리 복제본 2개·생성 복제본 1개에 텐서·데이터·전문가 병렬 크기를 각각 4로 둬 모델 계산을 나누고 복제했다.

생성 서버의 캐시 공간을 의도적으로 부족하게 만든 실험이다.

> 확인용 조건: 8비트 부동소수점 캐시, Mooncake 전송, 생성 캐시 장치별 163,840토큰. 선행 입력 처리 시도는 두 정책 모두 1이었다.

입력 131,072토큰 요청 64개와 4,096토큰 요청 192개를 섞고, 출력 256토큰·동시 요청 64개로 정책마다 두 번 측정했다. 실행별 지표의 산술평균 비교에서 처리량은 26.81% 늘고 첫 토큰 대기의 95백분위는 48.87% 줄었다. 95백분위는 측정값의 95%가 그 이하인 지점이다.

대신 평균 출력 토큰당 시간은 2.13%, 토큰 사이 간격의 99백분위는 92.77% 늘어 느린 쪽의 끊김이 커졌다.

입력 서버의 캐시를 더 오래 유지하고 입력 처리와 캐시 전송을 겹치지 못하는 대가도 있다.

작은 모델에서는 처리량 차이가 실행 편차 안이었다.

초기 지원은 문케이크 전송을 쓰는 구성이다. 전체 모델 계산을 네 장치로 나누는 설정과 별개로, 장치별로 토큰 간 관계 계산인 어텐션·입력 문맥·모델 단계를 더 나누지 않는 구성만 지원한다.

> 배포 확인: 통신 작업자들을 기본 정책으로 먼저 업그레이드한 뒤 양쪽 역할의 정책을 함께 바꿔야 한다.

이 실험은 기준 코드 갱신 전 결과이며, 변경안에는 최신 코드의 회귀 검증이 미완료로 남아 있다.

4. 하드웨어 지원 확대와 성능 비교를 구분한다

릴리스 문서는 DeepSeek-V4.1 Flash의 H200 8장 구성에서 GPU당 출력 처리량이 2.1~2.3배로 늘었다고 보고했다. 입력 길이와 동시 요청 조건은 제시되지 않았다.

지원되는 두 장치 중 하나에서 추측 생성 처리량이 일반 생성 대비 최대 1.9배로 측정됐다.

> 확인용 장치·구성: AMD MI350X·MI355X 지원. 측정은 MI350X 4장과 DSpark를 쓴 결과다.

이 구성에서 디스파크를 쓸 때 128K 입력의 첫 토큰 대기는 860밀리초에서 576밀리초로 줄었다. 지원 장치마다 같은 성능이 확인된 것은 아니다.

5. 업그레이드는 파이썬부터 확인한다

파이썬 3.11 이상이 필요하다. 3.10에서 버전을 지정하지 않고 설치하면 이를 지원하는 마지막 릴리스를 고르므로 설치 성공만으로 업데이트를 판단하면 안 된다.

이번 릴리스는 맥 개발 경로와 서버 최적화 선택지를 넓혔지만, 분리 정책은 긴·짧은 입력이 섞이고 생성 캐시가 부족한 서비스가 검토 대상이며, 응답 중 긴 끊김에 민감한 서비스는 처리량만 보고 선택하면 안 된다.