DSpine Qwen3-8B: 병렬 초안 모델 공개, 추론 코드 제공
텐센트가 답변 후보를 병렬로 만드는 초안 모델과 이를 실행하는 추론 코드를 공개했다. 공개 실험에서는 초안을 받아들이는 길이가 비교 방법보다 길었지만, 실제 속도 이득은 추가 자원 부담과 함께 확인해야 한다.
devotd.
로컬 AI
주제별 새 소식과 판단에 필요한 맥락을 모았다.
최신 글
55 개의 글llama.cpp b11714: 웹 모델 탐색과 보조 파일 선택, 다운로드 일시정지와 재개
웹 화면에서 허깅페이스 허브의 모델을 검색하고 양자화에 맞는 추론 보조 파일을 함께 내려받을 수 있게 됐다. 일시정지한 다운로드는 재시작 뒤에도 복원되지만 파일이 바뀌었거나 이어받기가 거부되면 처음부터 다시 받는다.
NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB: 2비트 학습 기반 압축, 로컬 시각언어 에이전트
엔비디아가 화면 이해와 도구 호출을 개인 기기에서 처리하도록 설계한 24GB 시각언어 모델을 공개했다. 큰 모델을 압축하고 양자화 오차를 학습으로 보정했다. 터미널 작업 평가에서 Bolt는 Qwen3.6보다 높은 점수를 냈지만 일부 지식 정확도·환각 억제 항목에서는 뒤졌다. 별도의 저정밀도 속도 실험에서는 두 소형 전문가 모델보다 느렸다.
KTransformers v0.7.2: CPU 압축 전문가 LoRA 학습, 학습 도구와 추론 어댑터 연결
대형 언어 모델의 전문가 가중치를 CPU에 압축 상태로 유지하면서 작은 보정 가중치만 학습하는 경로가 추가됐다. 학습 결과의 저장과 추론 연결도 지원하지만 전체 모델의 품질과 처리량 측정 결과는 제시되지 않았다.
Intel LLM-Scaler vLLM 1.5: 추론 엔진 기반 갱신, 모델·양자화 지원 확대
인텔이 로컬 언어 모델 추론 패키지의 기반 엔진을 갱신하고 지원 모델과 저정밀도 실행 경로를 넓혔다. 답변 생성 가속과 맞춤 모델 서빙 기능도 제공하지만 데모용 이미지라는 성격과 모델별 실행 조건을 확인해야 한다.
llama.cpp b11709: Kolibri-1 지원, GGUF 변환 경로 추가
독일어·영어 공개 가중치 모델을 로컬 추론 도구에서 변환하고 실행하는 지원이 추가됐다. 토큰당 계산에는 일부 파라미터만 쓰지만 전체 가중치를 담을 메모리와 실제 사용 환경의 검증은 별도로 고려해야 한다.
Strata 0.1.45: Qwen3.6-35B-A3B 이미지 입력, 최대 8개 동시 요청과 생성 가속
로컬 언어 모델 실행 도구가 그림 입력과 최대 8개 요청의 동시 처리를 추가하고 답변 생성 속도를 개선했다. 메모리가 부족하면 동시 처리 설정이 단일 요청을 느리게 할 수 있어 장비와 사용 패턴에 맞춘 선택이 필요하다.
LFM2.5-24B-A2B: 기기 내 추론·도구 활용, 부분 활성화로 계산 절감
리퀴드 AI가 전체 파라미터 중 일부만 계산에 쓰면서 답변 전에 추론하는 기기 내 에이전트용 모델을 공개했다. 도구 활용 평가에서 강점을 보였지만 지식·코드 평가의 한계와 가중치 저장 부담, 상업 이용 조건을 함께 검토해야 한다.
MiniCPM-V 4.7 35B-A3B: 시리즈 첫 MoE, 기기 내 전문가 미리 읽기
오픈비엠비의 새 시각 언어 모델은 필요한 계산 묶음을 미리 불러와 휴대전화의 가중치 읽기 대기를 줄인다. 개발팀은 양자화와 추측 생성을 함께 적용한 결과를 공개했으며, 일반 추론 설치와 기기 최적화 배포는 구분해서 접근해야 한다.
Unsloth v0.1.908-beta: Nemotron 3.5·Muse Spark Open 로컬 실행, 코딩 에이전트 프롬프트 캐싱 개선
새 대형 모델을 로컬에서 실행하는 선택지가 늘고 코딩 도우미의 대화 재처리가 줄었다. 최소 메모리는 짧은 문맥을 전제로 하며 응답 시작 개선을 전체 생성 속도 향상으로 해석해서는 안 된다.