DSpine Qwen3-8B: 병렬 초안 모델 공개, 추론 코드 제공
텐센트가 답변 후보를 병렬로 만드는 초안 모델과 이를 실행하는 추론 코드를 공개했다. 공개 실험에서는 초안을 받아들이는 길이가 비교 방법보다 길었지만, 실제 속도 이득은 추가 자원 부담과 함께 확인해야 한다.
devotd.
로컬 AI
주제별 새 소식과 판단에 필요한 맥락을 모았다.
대상 날짜별 글
20 개의 글NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB: 2비트 학습 기반 압축, 로컬 시각언어 에이전트
엔비디아가 화면 이해와 도구 호출을 개인 기기에서 처리하도록 설계한 24GB 시각언어 모델을 공개했다. 큰 모델을 압축하고 양자화 오차를 학습으로 보정했다. 터미널 작업 평가에서 Bolt는 Qwen3.6보다 높은 점수를 냈지만 일부 지식 정확도·환각 억제 항목에서는 뒤졌다. 별도의 저정밀도 속도 실험에서는 두 소형 전문가 모델보다 느렸다.
KTransformers v0.7.2: CPU 압축 전문가 LoRA 학습, 학습 도구와 추론 어댑터 연결
대형 언어 모델의 전문가 가중치를 CPU에 압축 상태로 유지하면서 작은 보정 가중치만 학습하는 경로가 추가됐다. 학습 결과의 저장과 추론 연결도 지원하지만 전체 모델의 품질과 처리량 측정 결과는 제시되지 않았다.
Intel LLM-Scaler vLLM 1.5: 추론 엔진 기반 갱신, 모델·양자화 지원 확대
인텔이 로컬 언어 모델 추론 패키지의 기반 엔진을 갱신하고 지원 모델과 저정밀도 실행 경로를 넓혔다. 답변 생성 가속과 맞춤 모델 서빙 기능도 제공하지만 데모용 이미지라는 성격과 모델별 실행 조건을 확인해야 한다.
llama.cpp b11709: Kolibri-1 지원, GGUF 변환 경로 추가
독일어·영어 공개 가중치 모델을 로컬 추론 도구에서 변환하고 실행하는 지원이 추가됐다. 토큰당 계산에는 일부 파라미터만 쓰지만 전체 가중치를 담을 메모리와 실제 사용 환경의 검증은 별도로 고려해야 한다.
Hermes Agent 0.22.0: 로컬 추론 통합, 안정 릴리스 업데이트
Hermes Agent 0.22.0은 로컬 모델 설치부터 서버 실행과 업데이트까지 관리한다. 소스 설치의 기본 업데이트 대상도 안정 버전으로 바뀌었다. 다만 외부 앱은 Nous 게이트웨이를 거치므로 로컬 추론과 전체 오프라인 실행은 다르다.
XeStrata xe0.1.43.1 핫픽스: Intel 프리필 XMX 경로 복구, GPU 기계어 대상 불일치 수정
XeStrata xe0.1.43.1은 xe0.1.43에서 Intel GPU의 Qwen3.8-Flash-Next 프리필이 DP4a 경로로 떨어진 회귀를 고쳤다. 하루 앞선 xe0.1.42는 패키지 속 GPU 기계어가 뒤바뀐 별개의 결함을 고쳤다.
Project Maya RTX 3090 두 장: 디코드 53.0 tok/s, MTP 드래프팅이 함께 켜진 비교
Project Maya 기여자가 RTX 3090 한 장에서 26.0 tok/s, 두 장에서 53.0 tok/s의 디코드 속도를 보고했다. 두 장 구성에서는 레이어 분할, MTP 드래프팅, 프리필 청크 크기도 함께 바뀌어 GPU 수만의 확장 배율로 읽을 수는 없다.
llama.cpp Bonsai 2 27B 런타임 병합: Q2_0 정확성 확인, 포크 안내는 유지
llama.cpp가 10월 11일 Prism Bonsai 2 27B 런타임 지원을 병합했다. 다만 10월 13일 확인한 모델 카드와 백엔드 문서는 여전히 Prism 포크를 요구하므로, 파일 패킹과 런타임 리비전, 백엔드 조합을 따로 확인해야 한다.
PXA 3.1: Overdrive 프리셋, PXA 양자화 팩과 학습형 전문가 맵
PXA 3.1은 Tesla P100·V100 같은 구형 NVIDIA 카드용 Overdrive 프리셋을 추가했지만, 속도 최적화는 PXA 양자화 팩과 패키지에 동봉된 PXQN 라이브러리를 전제로 한다. 사용 중 학습한 전문가 맵을 컨테이너 밖에 남기려면 이름 있는 볼륨도 필요하다.