Xolotl: 프로젝트 이름 변경, 대형 모델 실행 엔진 통합
개인용 PC에서 대형 AI 모델을 실행하는 프로젝트가 이름을 바꾸고 여러 모델의 엔진을 한 저장소로 통합했다. 그래픽카드 한 장에서 초당 약 27토큰을 생성한 결과는 대용량 메모리와 빠른 저장장치를 갖춘 환경의 기록이며 공식 서비스와의 품질 동등성을 뜻하지 않는다.
devotd.
2026-10
한국 시간(KST) 기준 날짜별 글입니다. 소급 작성한 글은 대상 날짜와 실제 발행 시각을 구분해 표시합니다.
대상 날짜별 글
103 개의 글KST
llama.cpp b11716/b11717: Hexagon 1비트·2비트 지원, 행 추출·아다마르 연산 추가
스냅드래곤의 신경망 처리 장치에 초저비트 가중치의 행렬곱과 행 추출·아다마르 연산 지원이 추가됐다. 개발자는 본사이-2의 1비트·2비트 경로를 사용 가능하다고 밝혔지만, 줄어든 메모리 점유를 더 잘 활용하려면 추가 최적화가 필요하다고 설명했다.
Perplexity pplx-decider-v1.2: 질문 묶음 처리, 학습 데이터 재구성
Perplexity가 같은 상황에 관한 여러 질문을 한 번에 판단하도록 요청 형식과 학습 데이터를 바꿨다. 관련 속성은 함께 묻되 독립 후보는 따로 평가하는 편이 유리하며, 긴 입력과 실행 경로에 따른 결과 차이는 확인해야 한다.
OpenMOSS MOSS-Image-Base·MOSS-Image-SFT: 글자·사물 배치 제어, 기본·추가 학습 모델 공개
오픈모스가 글자와 사물의 위치를 좌표로 지정할 수 있는 이미지 생성 모델의 코드와 가중치를 공개했다. 기본 모델과 추가 학습 모델을 제공하며, 도입 시에는 배치 입력 작성 부담과 메모리·추론 시간의 절충을 함께 살펴야 한다.
Cloudflare and OpenAI: 페이지 발견 확대, 검색 크롤링 효율화 실험
클라우드플레어와 오픈AI는 네트워크 신호를 활용한 시범 사업에서 수억 개의 새 웹페이지를 발견해 검색 색인에 추가했다고 밝혔다. 변경 여부와 유해 가능성을 나타내는 신호로 불필요한 수집을 줄이려 하지만, 부하 절감의 정량 결과와 실제 사업 성과는 아직 제시되지 않았다.
DSpine Qwen3-8B: 병렬 초안 모델 공개, 추론 코드 제공
텐센트가 답변 후보를 병렬로 만드는 초안 모델과 이를 실행하는 추론 코드를 공개했다. 공개 실험에서는 초안을 받아들이는 길이가 비교 방법보다 길었지만, 실제 속도 이득은 추가 자원 부담과 함께 확인해야 한다.
Nemotron-pretraining-Indic-v1: 2.8조 토큰 코퍼스, 공개 데이터 생성 파이프라인
NVIDIA가 인도 22개 언어를 위한 약 2.8조 토큰의 번역 기반 학습 자료와 공개 생성 절차를 소개했다. 공개 예정인 자료는 현지에서 직접 작성된 텍스트를 보완하며, 보고된 성능 향상은 두 종류의 자료를 함께 사용한 학습 단계의 결과다.
Cloudflare 인증 봇: 지속적 행동 검증, 고객별 신뢰 기준
Cloudflare가 인증 봇의 지시 준수와 속도 조절 요청에 대한 반응을 지속적으로 평가하는 시스템을 소개했다. 현재는 내부에서 관찰 이력을 쌓는 단계이며, 점수 공개와 고객의 신뢰 기준 선택 기능은 향후 계획이다.
llama.cpp b11714: 웹 모델 탐색과 보조 파일 선택, 다운로드 일시정지와 재개
웹 화면에서 허깅페이스 허브의 모델을 검색하고 양자화에 맞는 추론 보조 파일을 함께 내려받을 수 있게 됐다. 일시정지한 다운로드는 재시작 뒤에도 복원되지만 파일이 바뀌었거나 이어받기가 거부되면 처음부터 다시 받는다.
NVIDIA-Nemotron-Labs-Dory1.0-4B: 반복 횟수 조절, 마지막 반복 캐시
엔비디아가 재학습 없이 내부 반복 횟수를 바꿔 정확도와 연산량을 조절하는 40억 매개변수 언어 모델을 공개했다. 마지막 반복만 저장하는 캐시와 여러 정밀도의 배포본을 제공하지만 실제 응답 시간과 비용은 작업별로 평가해야 한다.