Xolotl: 프로젝트 이름 변경, 대형 모델 실행 엔진 통합
개인용 PC에서 대형 AI 모델을 실행하는 프로젝트가 이름을 바꾸고 여러 모델의 엔진을 한 저장소로 통합했다. 그래픽카드 한 장에서 초당 약 27토큰을 생성한 결과는 대용량 메모리와 빠른 저장장치를 갖춘 환경의 기록이며 공식 서비스와의 품질 동등성을 뜻하지 않는다.
devotd.
IT
주제별 새 소식과 판단에 필요한 맥락을 모았다.
대상 날짜별 글
48 개의 글llama.cpp b11716/b11717: Hexagon 1비트·2비트 지원, 행 추출·아다마르 연산 추가
스냅드래곤의 신경망 처리 장치에 초저비트 가중치의 행렬곱과 행 추출·아다마르 연산 지원이 추가됐다. 개발자는 본사이-2의 1비트·2비트 경로를 사용 가능하다고 밝혔지만, 줄어든 메모리 점유를 더 잘 활용하려면 추가 최적화가 필요하다고 설명했다.
Cloudflare 인증 봇: 지속적 행동 검증, 고객별 신뢰 기준
Cloudflare가 인증 봇의 지시 준수와 속도 조절 요청에 대한 반응을 지속적으로 평가하는 시스템을 소개했다. 현재는 내부에서 관찰 이력을 쌓는 단계이며, 점수 공개와 고객의 신뢰 기준 선택 기능은 향후 계획이다.
llama.cpp b11714: 웹 모델 탐색과 보조 파일 선택, 다운로드 일시정지와 재개
웹 화면에서 허깅페이스 허브의 모델을 검색하고 양자화에 맞는 추론 보조 파일을 함께 내려받을 수 있게 됐다. 일시정지한 다운로드는 재시작 뒤에도 복원되지만 파일이 바뀌었거나 이어받기가 거부되면 처음부터 다시 받는다.
NVIDIA-Nemotron-Labs-Dory1.0-4B: 반복 횟수 조절, 마지막 반복 캐시
엔비디아가 재학습 없이 내부 반복 횟수를 바꿔 정확도와 연산량을 조절하는 40억 매개변수 언어 모델을 공개했다. 마지막 반복만 저장하는 캐시와 여러 정밀도의 배포본을 제공하지만 실제 응답 시간과 비용은 작업별로 평가해야 한다.
OpenCode Console: 외부 키 노출, 제공자 키 폐기·교체
보안 침해로 전체 콘솔 사용자의 1.4%가 영향을 받았으며, 대상은 외부 AI 서비스를 연결한 사용자 일부다. 통지를 받은 사용자는 제공자 관리 화면에서 키를 폐기·교체하고 최근 사용 내역과 연결된 애플리케이션을 점검해야 한다.
Claude Code 2.1.302: 자동 모드·유휴 압축 설정, 대기·이미지 읽기 상한
클로드 코드가 자동 모드의 판단 모델을 고르는 설정과 유휴 대화 압축을 켜고 끄는 항목을 추가했다. 앞 버전의 무인 재시도 대기 상한과 함께, 이번 버전에는 128 MB를 넘는 이미지 소스를 거절하는 제한이 적용됐다.
Strata 0.1.45: Qwen3.6-35B-A3B 이미지 입력, 최대 8개 동시 요청과 생성 가속
로컬 언어 모델 실행 도구가 그림 입력과 최대 8개 요청의 동시 처리를 추가하고 답변 생성 속도를 개선했다. 메모리가 부족하면 동시 처리 설정이 단일 요청을 느리게 할 수 있어 장비와 사용 패턴에 맞춘 선택이 필요하다.
OpenAI Agents SDK for Python 0.24.0: MCP 도구 설명 노출, 실행 전체 오류 서식화
외부 도구가 제공하는 부가 설명을 코드에서 읽고, 적용 대상 함수의 실행 오류 문장을 공통 처리기로 정리할 수 있게 됐다. 승인 대기 중 자동 기록 압축은 미뤄지며, 기존 오류 처리기는 새 분류에 대응하는지 확인해야 한다.
LFM2.5-24B-A2B: 기기 내 추론·도구 활용, 부분 활성화로 계산 절감
리퀴드 AI가 전체 파라미터 중 일부만 계산에 쓰면서 답변 전에 추론하는 기기 내 에이전트용 모델을 공개했다. 도구 활용 평가에서 강점을 보였지만 지식·코드 평가의 한계와 가중치 저장 부담, 상업 이용 조건을 함께 검토해야 한다.