DSpine Qwen3-8B：並列ドラフトモデル公開、推論コード提供
テンセントが回答候補を並列に生成するドラフトモデルと、それを実行する推論コードを公開した。公開実験ではドラフトの受理長が比較手法より長かったが、実際の速度向上は追加リソースの負担と併せて確認する必要がある。
devotd.
ローカル AI
テーマごとの動きと判断に必要な背景をまとめる。
対象日順の記事
20 件の記事NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB：2ビット学習による圧縮、ローカル視覚言語エージェント
NVIDIAは、画面理解とツール呼び出しを個人のデバイスで処理するよう設計した24GBの視覚言語モデルを公開した。大規模モデルを圧縮し、量子化誤差を学習で補正した。ターミナル作業の評価でBoltはQwen3.6を上回ったが、一部の知識の正確性やハルシネーション抑制の項目では下回った。別の低精度での速度実験では、2つの小型エキスパートモデルより遅かった。
KTransformers v0.7.2：CPU圧縮エキスパートのLoRA学習、学習ツールと推論アダプターの連携
大規模言語モデルのエキスパート重みをCPU上で圧縮状態に保ち、小さな補正重みだけを学習する経路が追加された。学習結果の保存と推論への接続も支援するが、モデル全体の品質やスループットの測定結果は示されていない。
Intel LLM-Scaler vLLM 1.5：推論エンジンの更新、モデル・量子化対応の拡大
インテルがローカル言語モデル推論パッケージの基盤エンジンを更新し、対応モデルと低精度実行の選択肢を広げた。回答生成の高速化やカスタムモデルの配信機能も提供するが、デモ用イメージという位置付けとモデル別の実行条件を確認する必要がある。
llama.cpp b11709：Kolibri-1対応、GGUF変換経路の追加
ドイツ語・英語の公開重みモデルをローカル推論ツールで変換・実行するための対応が追加された。トークンごとの計算には一部のパラメータしか使わないが、全重みを保持するメモリと実際の利用環境での検証は別途考慮する必要がある。
Hermes Agent 0.22.0：ローカル推論の統合、安定版への更新
Hermes Agent 0.22.0はローカルモデルの導入、サーバー運用、更新をまとめて管理する。ソース導入の既定の更新先も安定版になった。ただし外部アプリはNousゲートウェイを使うため、ローカル推論と作業全体のオフライン化は別だ。
XeStrata xe0.1.43.1ホットフィックス：IntelのプリフィルをXMX経路に戻し、GPU機械語のターゲット取り違えを修正
XeStrata xe0.1.43.1は、xe0.1.43でIntel GPUのQwen3.8-Flash-NextのプリフィルがDP4a経路に落ちた退行を直した。1日前のxe0.1.42は、パッケージ内のGPU機械語が入れ替わっていた別の欠陥を直した。
Project Maya RTX 3090 2枚：デコード53.0 tok/s、MTPドラフトも同時に有効化した比較
Project Mayaの貢献者が、RTX 3090 1枚で26.0 tok/s、2枚で53.0 tok/sのデコード速度を報告した。2枚構成ではレイヤー分割、MTPドラフト、プリフィルのチャンクサイズも同時に変わっており、GPU数だけによるスケーリング倍率とは読めない。
llama.cpp Bonsai 2 27Bランタイムのマージ：Q2_0の正確性を確認、フォークの案内は維持
llama.cppは10月11日にPrism Bonsai 2 27Bのランタイム対応をマージした。ただし10月13日に確認したモデルカードとバックエンド文書は今もPrismフォークを求めており、ファイルのパッキング、ランタイムのリビジョン、バックエンドの組み合わせを別に確認する必要がある。
PXA 3.1：Overdriveプリセット、PXA量子化パックと学習するエキスパートマップ
PXA 3.1はTesla P100・V100などの古いNVIDIAカード向けにOverdriveプリセットを追加したが、速度の最適化はPXA量子化パックとパッケージ同梱のPXQNライブラリが前提だ。使用中に学習したエキスパートマップをコンテナの外に残すには、名前付きボリュームも必要になる。