Basalt 엔진: Blackwell 전용 Qwen3.8-Flash-Next, 설정 의존 처리량
Basalt는 Strata를 포크해 Linux와 NVIDIA Blackwell(sm_120)의 Qwen3.8-Flash-Next 하나에 맞춘 엔진이다. 개발자가 보고한 665·354 tok/s는 특정 모델 팩·작업·튜닝 설정의 결과이며, 내장 기본값과 동시 요청의 컨텍스트 분할이 같은 무게로 결과를 좌우한다.
devotd.
로컬 AI
주제별 새 소식과 판단에 필요한 맥락을 모았다.
대상 날짜별 글
20 개의 글strata-mlx 32GB Mac 보고: 전문가 캐시 축소, 스왑 106GB에서 1.7GB로
strata-mlx는 Strata의 모델 파일을 읽는 독립 MLX 엔진이다. 실제 32GB MacBook Air에서 전문가 예산을 20.5GB에서 16GB로 줄이자 생성 속도가 두 배 가까이 오르고 누적 스왑아웃이 크게 줄었다는 사용자 측정이 나왔다.
audio.cpp 0.9.1: PocketTTS CPU depthwise 업샘플러, AVX-512 바이너리 주의
audio.cpp v0.9.1은 PocketTTS의 CPU Mimi 업샘플러를 32MiB 밀집 대각 가중치 대신 64KiB depthwise 모듈로 바꿨다. 메인테이너 측정에서 4스레드 디코더 프레임 시간은 30.50ms에서 10.11ms로 줄었지만, GPU 경로는 그대로이고 일부 릴리스 바이너리는 AVX-512를 요구할 수 있다.
MSI Prestige N16 Flip AI+ 홍콩 사전 주문: 최대 128GB 공유 메모리, Windows on Arm
MSI가 10월 8일 홍콩에서 RTX Spark 기반 투인원 노트북 Prestige N16 Flip AI+의 사전 주문을 시작했다. 최대 128GB는 CPU와 GPU가 함께 쓰는 공간이고, 로컬 AI 용도에서는 Windows on Arm 위의 실제 소프트웨어 구성이 그 안에서 도는지가 관건이다.
WHIRL v0.1.4: 브라우저 CORS를 로컬 출처로 제한, 멈춘 스트리밍 클라이언트 30초 후 정리
WHIRL v0.1.4는 네이티브 Windows LLM 서버의 CORS 기본값을 루프백 주소에서 제공하는 웹 페이지로 좁혔다. 추론 코드와 속도는 v0.1.3과 같고, 응답 읽기를 멈춘 스트리밍 클라이언트가 다른 사용자를 막지 않도록 바뀌었다.
Strata v0.1.39: GPU·RAM·SSD 전문가 배치, 프리필과 디코드의 다른 병목
Strata는 GPU 메모리에 다 들어가지 않는 MoE 모델을 GPU, RAM, CPU, SSD에 나눠 실행한다. 어떤 가중치를 어디에 두고 어디서 계산하는지가 프롬프트 처리 속도, 첫 응답 대기, 생성 속도를 각각 다르게 좌우한다.
Lemonade v2026.40.0: APU GTT 기준 크기 판정, ROCm 백엔드 두 개 제거
Lemonade 안정판 v2026.40.0이 AMD 내장 GPU에서 스트리밍 모델의 적격 크기를 GTT 풀로 판정한다. 같은 릴리스에서 openmoss:rocm과 Windows의 sd-cpp:rocm이 빠졌으므로 업그레이드 문제는 두 변화 중 어느 쪽에서 왔는지에 따라 원인이 다르다.
llama.cpp·Ollama 결정 모델: /v1/systemone 타입 응답, 모델별 신뢰도 기준
llama.cpp와 Ollama가 /v1/systemone으로 생성 문장 대신 타입이 정해진 결정을 반환한다. 응답 파싱은 단순해지지만, 확률값이 정답을 보증하지는 않고 신뢰도 기준은 모델마다 다르다.
로컬 LLM 자가호스팅 비용: 하루 가동 시간, 비교 모델에 따른 손익
RTX 3090 두 장으로 LLM을 운영하는 Bas Nijholt는 전기료와 장비값을 고려하면 API가 더 저렴할 수 있다고 계산했다. 하지만 어느 모델과 비교하는지, 장비를 얼마나 쓰는지에 따라 결론은 달라진다.
LocalAI 4.11.0: 로컬·원격 장애 전환, 응답 시작 전 오류만 재시도
LocalAI 4.11.0은 한 모델명에 로컬·원격 모델을 순서대로 연결하는 장애 전환 기능을 추가했다. 다만 응답 전송이 시작되기 전의 일부 오류에서만 다음 모델로 넘어간다.