LFM2.5-24B-A2B: 기기 내 추론·도구 활용, 부분 활성화로 계산 절감
리퀴드 AI가 전체 파라미터 중 일부만 계산에 쓰면서 답변 전에 추론하는 기기 내 에이전트용 모델을 공개했다. 도구 활용 평가에서 강점을 보였지만 지식·코드 평가의 한계와 가중치 저장 부담, 상업 이용 조건을 함께 검토해야 한다.
devotd.
IT
주제별 새 소식과 판단에 필요한 맥락을 모았다.
대상 날짜별 글
49 개의 글MiniCPM-V 4.7 35B-A3B: 시리즈 첫 MoE, 기기 내 전문가 미리 읽기
오픈비엠비의 새 시각 언어 모델은 필요한 계산 묶음을 미리 불러와 휴대전화의 가중치 읽기 대기를 줄인다. 개발팀은 양자화와 추측 생성을 함께 적용한 결과를 공개했으며, 일반 추론 설치와 기기 최적화 배포는 구분해서 접근해야 한다.
Offrail-27B-Uncensored: 비검열 삼진 모델 통합, 다중 토큰 예측 헤드 이식
답변 거부를 줄인 삼진 압축 모델에 다음 토큰을 미리 예측하는 보조 장치를 붙인 빌드가 공개됐다. 제작자 시험에서는 같은 조건에서 생성 속도가 약 20% 개선됐지만 추가 메모리와 전용 실행판이 필요하다.
Unsloth v0.1.908-beta: Nemotron 3.5·Muse Spark Open 로컬 실행, 코딩 에이전트 프롬프트 캐싱 개선
새 대형 모델을 로컬에서 실행하는 선택지가 늘고 코딩 도우미의 대화 재처리가 줄었다. 최소 메모리는 짧은 문맥을 전제로 하며 응답 시작 개선을 전체 생성 속도 향상으로 해석해서는 안 된다.
Ray 2.59: 언어 모델 데이터 처리·서빙 정식 출시, 로컬 클러스터 토큰 인증 기본화
Ray가 언어 모델용 데이터 처리와 서비스 제공 기능을 정식 출시하고 로컬 클러스터의 토큰 인증을 기본으로 켰다. 시작 방식에 따라 인증 적용 조건이 다르며, 원격 클러스터 운영자는 향후 기본 인증 확대에 대비해 토큰 배포를 준비할 필요가 있다.
Claude Code 2.1.300: 입력창 장식 분리, 생성형 인공지능 관측 속성
입력창에만 보이는 장식과 생성형 인공지능 작업 기록용 표준 속성이 추가됐다. 조언 기능은 사용자가 선택해야 작동하며, 요청 재현에 필요한 정보가 늘어난 공유 기록은 내용을 살펴볼 필요가 있다.
SGLang v0.5.21: 신규 모델 지원 확대, 캐시·요청 처리 기본값 변경
새 버전은 지원 모델을 늘리고 반복 입력 캐시와 요청 처리의 기본 동작을 바꿨다. 새 모델의 설치 안내에는 자료 간 차이가 있어 배포 구성 확인과 기존 서비스의 호환성 검사를 구분할 필요가 있다.
Open WebUI 0.12.3: 브라우저 종단간 암호화, 임시 대화 권한 관리
참여자의 브라우저에서 메시지를 암호화하고 서버에는 저장하지 않는 임시 채팅이 추가됐다. 관리자는 기능 활성화와 사용자 권한을 따로 설정하고 통신 환경도 점검해야 한다.
Hy-Memory-30B-A3B: 활성 30억 파라미터의 기억 작성 특화, 기존 기억 프레임워크 연동
텐센트 헌위안이 장기 기억 시스템에서 저장할 정보를 고르고 갱신하는 전용 모델을 공개했다. 기존 기억 관리 체계의 작성 모델을 교체하는 방식으로, 평가에서는 고정된 표본에서의 성과와 검증 범위를 함께 살펴야 한다.
Node.js 26.12.0: 웹어셈블리 미지원 오류 명확화, 웹소켓 마스킹 함수 추가
웹어셈블리나 실행 메모리를 지원하지 않는 환경에서 기능을 사용할 때 실패 원인을 구분하는 오류 처리가 개선됐다. 웹소켓 데이터를 가리고 되돌리는 내장 함수가 추가돼 라이브러리 개발자가 별도 확장 없이 연산을 옮길 수 있게 됐다.