NVIDIA TensorRT-LLM 1.4.0rc0: GLM-5.3-Flash 지원, KVCacheManagerV2 파이썬 구현 제거
새 모델의 텍스트·이미지·비디오 입력 지원이 추가됐다. 캐시 관리자의 파이썬 구현은 제거됐으며, 기존 설정과 이벤트 수집 경로는 업그레이드 전에 확인해야 한다.
devotd.
LLM
주제별 새 소식과 판단에 필요한 맥락을 모았다.
최신 글
57 개의 글Hugging Face Transformers v5.20.0: Muse Spark Open 지원, Ling 3.0 Flash 네이티브 로딩
트랜스포머스에 메타의 다중 입력 모델 지원과 인클루전AI 모델의 내장 로딩 경로가 추가됐다. 입력과 로딩 절차는 통합되지만, 실제 배포에서는 대형 모델의 메모리 요구와 전문가 병렬 추론의 속도 저하 경고를 따로 확인해야 한다.
NVIDIA Nemotron 3.5 Super VL 120B-A12B: 100만 토큰 하이브리드 MoE, 내장 MTP 추측 디코딩
엔비디아가 긴 문서와 이미지·영상을 처리하는 모델을 학습·평가용과 메모리 절감 배포용으로 공개했다. 내장 예측 기능으로 생성 가속을 시도할 수 있지만 실제 속도와 양자화에 따른 품질 변화는 배포 조건과 작업별로 판단해야 한다.
Boole-1.7B: 1비트 저장 GGUF 292.1MB, BF16 대비 평균 8.28점 하락
가중치의 부호를 1비트로 저장한 소형 언어 모델이 공개됐으며, CPU에서도 실행하는 배포 파일은 292.1MB다. 발표사 평가의 열 과제 평균은 원본보다 8.28점 낮았고, 실행 메모리와 생성 속도의 측정치는 제시되지 않았다.
FlashInfer v0.7.1: Rubin 양자화 전문가 병렬화 확대, 워크스테이션 통합 책임
모델의 전문가 연산을 여러 GPU에 나눠 실행하는 지원이 Rubin과 Blackwell 워크스테이션에서 확대됐다. 워크스테이션 경로는 입력 전달과 결과 합산을 호출자가 맡으며, 공개된 단일 계층 성능 수치는 분산 서비스 전체의 가속률이 아니다.
AIBrix v0.8.0: 실험적 ModelClaim 도입, 유휴 모델의 GPU 메모리 공유
AIBrix v0.8.0의 실험적 ModelClaim은 모델 수명을 Pod와 분리하고 유휴 엔진을 재워 GPU 메모리를 공유한다. 다만 잠든 모델을 찾는 첫 요청은 결과를 기다리는 대신 HTTP 503을 받는다. 잠든 동안 예약 공간까지 공유하면 다시 깨어나는 시점도 가용 용량에 달린다.
vLLM TPU Inference v0.31.0: 선택형 계층적 MoE 분배, JAX W4A16 지원
vLLM TPU Inference v0.31.0은 MoE의 칩 간 통신을 줄이는 선택형 분배 방식과 JAX 경로의 W4A16 선형 연산을 추가했다. 개발 PR에서는 특정 MoE 구성의 전체 디코딩 단계가 4.5% 단축됐고, Gemma 4 31B QAT가 v6e 한 칩에 들어갔다. 다만 서로 다른 병목을 해결한 결과이며, 일반적인 속도 향상이나 품질 유지를 입증하지는 않는다.
Ling-3.1-flash: MIT 모델 카드, 100만·26만 토큰 문서 차이
Ling-3.1-flash의 모델 카드는 100만 토큰 문맥을 제시하지만 SGLang 배포 안내는 262,144토큰으로 제한한다. 활성 파라미터 수도 25B와 약 17B로 다르다. 자가호스팅 계획에는 모델 설명보다 실제 체크포인트와 서버 설정이 중요하다.
Mistral Large 4: 공개 API 프리뷰, 월말 가중치 공개 예고
Mistral Large 4는 10월 6일 공개 API 프리뷰를 시작했지만 모델 가중치 공개는 월말로 예고했다. 10월 14일 기준 Hugging Face도 공개 예정 상태였다. 현재 서비스 평가와 향후 자가호스팅 가능성은 따로 판단할 문제다.
vLLM 0.31.0 preload: 재시작 로드 생략, 체크포인트 지문 충돌 위험
vLLM 0.31.0의 preload는 처리된 가중치를 GPU 데몬에 보관해 서버 재시작 때 디스크 로드를 줄인다. 그러나 safetensors 헤더만 보는 지문은 내용이 다른 파인튜닝 모델도 같은 캐시로 판단할 수 있다. 한 사용자는 원격 저장소에서 헤더 66개를 다시 읽는 데 약 32초가 걸렸다고 보고했다.