devotd.
한국어

devotd.

LLM

주제별 새 소식과 판단에 필요한 맥락을 모았다.

대상 날짜별 글

22 개의 글
  1. LLM뉴스·분석발행일 KST

    AIBrix v0.8.0: 실험적 ModelClaim 도입, 유휴 모델의 GPU 메모리 공유

    AIBrix v0.8.0의 실험적 ModelClaim은 모델 수명을 Pod와 분리하고 유휴 엔진을 재워 GPU 메모리를 공유한다. 다만 잠든 모델을 찾는 첫 요청은 결과를 기다리는 대신 HTTP 503을 받는다. 잠든 동안 예약 공간까지 공유하면 다시 깨어나는 시점도 가용 용량에 달린다.

  2. LLM뉴스·분석발행일 KST

    vLLM TPU Inference v0.31.0: 선택형 계층적 MoE 분배, JAX W4A16 지원

    vLLM TPU Inference v0.31.0은 MoE의 칩 간 통신을 줄이는 선택형 분배 방식과 JAX 경로의 W4A16 선형 연산을 추가했다. 개발 PR에서는 특정 MoE 구성의 전체 디코딩 단계가 4.5% 단축됐고, Gemma 4 31B QAT가 v6e 한 칩에 들어갔다. 다만 서로 다른 병목을 해결한 결과이며, 일반적인 속도 향상이나 품질 유지를 입증하지는 않는다.

  3. LLM뉴스·분석발행일 KST

    Ling-3.1-flash: MIT 모델 카드, 100만·26만 토큰 문서 차이

    Ling-3.1-flash의 모델 카드는 100만 토큰 문맥을 제시하지만 SGLang 배포 안내는 262,144토큰으로 제한한다. 활성 파라미터 수도 25B와 약 17B로 다르다. 자가호스팅 계획에는 모델 설명보다 실제 체크포인트와 서버 설정이 중요하다.

  4. LLM뉴스·분석발행일 KST

    Mistral Large 4: 공개 API 프리뷰, 월말 가중치 공개 예고

    Mistral Large 4는 10월 6일 공개 API 프리뷰를 시작했지만 모델 가중치 공개는 월말로 예고했다. 10월 14일 기준 Hugging Face도 공개 예정 상태였다. 현재 서비스 평가와 향후 자가호스팅 가능성은 따로 판단할 문제다.

  5. LLM뉴스·분석발행일 KST

    vLLM 0.31.0 preload: 재시작 로드 생략, 체크포인트 지문 충돌 위험

    vLLM 0.31.0의 preload는 처리된 가중치를 GPU 데몬에 보관해 서버 재시작 때 디스크 로드를 줄인다. 그러나 safetensors 헤더만 보는 지문은 내용이 다른 파인튜닝 모델도 같은 캐시로 판단할 수 있다. 한 사용자는 원격 저장소에서 헤더 66개를 다시 읽는 데 약 32초가 걸렸다고 보고했다.

  6. LLM뉴스·분석발행일 KST

    QwenGyre arXiv v1: 2.4T 학습 59시간 단축, Colocate 대비 16시간 차이

    QwenGyre는 에이전트 실행과 강화학습 사이에서 GPU 자원을 작업 상황에 따라 다시 배분한다. 2.4T 모델의 NL2RepoBench 48스텝 실험에서 Async 대비 59.13시간(43.9%), Colocate 대비 16.05시간(17.5%) 일찍 끝났다. 널리 인용되는 1.85배는 별도의 122B·TerminalBench 결과이며, 논문에는 구현 코드와 반복 실행 오차가 없다.

  8. LLM뉴스·분석대상 날짜 KST · 소급 작성

    TRL v1.15.0: 융합 LM head 기본 적용, 전체 logits 텐서 제거

    TRL v1.15.0은 SFT, DPO, KTO, GRPO, RLOO, Distillation에서 전체 logits 텐서를 만들지 않고 토큰 점수를 계산한다. 프로젝트 측정에서 DPO의 최대 학습 길이는 5.80배 늘었지만, 효과는 기존 손실 경로와 어휘 크기에 따라 다르다.