Hermes Agent 0.22.0: 로컬 추론 통합, 안정 릴리스 업데이트
Hermes Agent 0.22.0은 로컬 모델 설치부터 서버 실행과 업데이트까지 관리한다. 소스 설치의 기본 업데이트 대상도 안정 버전으로 바뀌었다. 다만 외부 앱은 Nous 게이트웨이를 거치므로 로컬 추론과 전체 오프라인 실행은 다르다.
devotd.
로컬 AI
주제별 새 소식과 판단에 필요한 맥락을 모았다.
최신 글
55 개의 글XeStrata xe0.1.43.1 핫픽스: Intel 프리필 XMX 경로 복구, GPU 기계어 대상 불일치 수정
XeStrata xe0.1.43.1은 xe0.1.43에서 Intel GPU의 Qwen3.8-Flash-Next 프리필이 DP4a 경로로 떨어진 회귀를 고쳤다. 하루 앞선 xe0.1.42는 패키지 속 GPU 기계어가 뒤바뀐 별개의 결함을 고쳤다.
Project Maya RTX 3090 두 장: 디코드 53.0 tok/s, MTP 드래프팅이 함께 켜진 비교
Project Maya 기여자가 RTX 3090 한 장에서 26.0 tok/s, 두 장에서 53.0 tok/s의 디코드 속도를 보고했다. 두 장 구성에서는 레이어 분할, MTP 드래프팅, 프리필 청크 크기도 함께 바뀌어 GPU 수만의 확장 배율로 읽을 수는 없다.
llama.cpp Bonsai 2 27B 런타임 병합: Q2_0 정확성 확인, 포크 안내는 유지
llama.cpp가 10월 11일 Prism Bonsai 2 27B 런타임 지원을 병합했다. 다만 10월 13일 확인한 모델 카드와 백엔드 문서는 여전히 Prism 포크를 요구하므로, 파일 패킹과 런타임 리비전, 백엔드 조합을 따로 확인해야 한다.
PXA 3.1: Overdrive 프리셋, PXA 양자화 팩과 학습형 전문가 맵
PXA 3.1은 Tesla P100·V100 같은 구형 NVIDIA 카드용 Overdrive 프리셋을 추가했지만, 속도 최적화는 PXA 양자화 팩과 패키지에 동봉된 PXQN 라이브러리를 전제로 한다. 사용 중 학습한 전문가 맵을 컨테이너 밖에 남기려면 이름 있는 볼륨도 필요하다.
Basalt 엔진: Blackwell 전용 Qwen3.8-Flash-Next, 설정 의존 처리량
Basalt는 Strata를 포크해 Linux와 NVIDIA Blackwell(sm_120)의 Qwen3.8-Flash-Next 하나에 맞춘 엔진이다. 개발자가 보고한 665·354 tok/s는 특정 모델 팩·작업·튜닝 설정의 결과이며, 내장 기본값과 동시 요청의 컨텍스트 분할이 같은 무게로 결과를 좌우한다.
strata-mlx 32GB Mac 보고: 전문가 캐시 축소, 스왑 106GB에서 1.7GB로
strata-mlx는 Strata의 모델 파일을 읽는 독립 MLX 엔진이다. 실제 32GB MacBook Air에서 전문가 예산을 20.5GB에서 16GB로 줄이자 생성 속도가 두 배 가까이 오르고 누적 스왑아웃이 크게 줄었다는 사용자 측정이 나왔다.
audio.cpp 0.9.1: PocketTTS CPU depthwise 업샘플러, AVX-512 바이너리 주의
audio.cpp v0.9.1은 PocketTTS의 CPU Mimi 업샘플러를 32MiB 밀집 대각 가중치 대신 64KiB depthwise 모듈로 바꿨다. 메인테이너 측정에서 4스레드 디코더 프레임 시간은 30.50ms에서 10.11ms로 줄었지만, GPU 경로는 그대로이고 일부 릴리스 바이너리는 AVX-512를 요구할 수 있다.
MSI Prestige N16 Flip AI+ 홍콩 사전 주문: 최대 128GB 공유 메모리, Windows on Arm
MSI가 10월 8일 홍콩에서 RTX Spark 기반 투인원 노트북 Prestige N16 Flip AI+의 사전 주문을 시작했다. 최대 128GB는 CPU와 GPU가 함께 쓰는 공간이고, 로컬 AI 용도에서는 Windows on Arm 위의 실제 소프트웨어 구성이 그 안에서 도는지가 관건이다.
WHIRL v0.1.4: 브라우저 CORS를 로컬 출처로 제한, 멈춘 스트리밍 클라이언트 30초 후 정리
WHIRL v0.1.4는 네이티브 Windows LLM 서버의 CORS 기본값을 루프백 주소에서 제공하는 웹 페이지로 좁혔다. 추론 코드와 속도는 v0.1.3과 같고, 응답 읽기를 멈춘 스트리밍 클라이언트가 다른 사용자를 막지 않도록 바뀌었다.