DSpine Qwen3-8B：並列ドラフトモデル公開、推論コード提供
テンセントが回答候補を並列に生成するドラフトモデルと、それを実行する推論コードを公開した。公開実験ではドラフトの受理長が比較手法より長かったが、実際の速度向上は追加リソースの負担と併せて確認する必要がある。
devotd.
ローカル AI
テーマごとの動きと判断に必要な背景をまとめる。
最新記事
55 件の記事llama.cpp b11714：Webでのモデル探索と補助ファイル選択、ダウンロードの一時停止と再開
Web画面でHugging Face Hubのモデルを検索し、量子化に合う推論補助ファイルを一緒にダウンロードできるようになった。一時停止したダウンロードは再起動後も復元されるが、ファイルが変わった場合や再開を拒否された場合は最初から取得し直す。
NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB：2ビット学習による圧縮、ローカル視覚言語エージェント
NVIDIAは、画面理解とツール呼び出しを個人のデバイスで処理するよう設計した24GBの視覚言語モデルを公開した。大規模モデルを圧縮し、量子化誤差を学習で補正した。ターミナル作業の評価でBoltはQwen3.6を上回ったが、一部の知識の正確性やハルシネーション抑制の項目では下回った。別の低精度での速度実験では、2つの小型エキスパートモデルより遅かった。
KTransformers v0.7.2：CPU圧縮エキスパートのLoRA学習、学習ツールと推論アダプターの連携
大規模言語モデルのエキスパート重みをCPU上で圧縮状態に保ち、小さな補正重みだけを学習する経路が追加された。学習結果の保存と推論への接続も支援するが、モデル全体の品質やスループットの測定結果は示されていない。
Intel LLM-Scaler vLLM 1.5：推論エンジンの更新、モデル・量子化対応の拡大
インテルがローカル言語モデル推論パッケージの基盤エンジンを更新し、対応モデルと低精度実行の選択肢を広げた。回答生成の高速化やカスタムモデルの配信機能も提供するが、デモ用イメージという位置付けとモデル別の実行条件を確認する必要がある。
llama.cpp b11709：Kolibri-1対応、GGUF変換経路の追加
ドイツ語・英語の公開重みモデルをローカル推論ツールで変換・実行するための対応が追加された。トークンごとの計算には一部のパラメータしか使わないが、全重みを保持するメモリと実際の利用環境での検証は別途考慮する必要がある。
Strata 0.1.45：Qwen3.6-35B-A3Bの画像入力、最大8件の同時リクエストと生成の高速化
ローカル言語モデル実行ツールが画像入力と最大8件のリクエストの同時処理を追加し、回答生成を高速化した。メモリが不足すると同時処理の設定が単一リクエストを遅くする場合があり、機器と利用パターンに合った選択が必要だ。
LFM2.5-24B-A2B：デバイス内の推論・ツール活用、一部の活性化で計算削減
Liquid AIが、全パラメータの一部だけを計算に使い、回答前に推論するデバイス内エージェント向けモデルを公開した。ツール活用の評価で強みを示したが、知識・コード評価の限界や重みの保存負担、商用利用条件も併せて検討する必要がある。
MiniCPM-V 4.7 35B-A3B：シリーズ初のMoE、端末上でのエキスパート先読み
OpenBMBの新しい視覚言語モデルは、必要な計算ユニットを先に読み込み、スマートフォンでの重みの読み込み待ちを減らす。開発チームは量子化と投機的生成を組み合わせた結果を公開したが、通常の推論用インストールと端末向け最適化の導入は分けて考える必要がある。
Unsloth v0.1.908-beta：Nemotron 3.5・Muse Spark Openのローカル実行、コーディングエージェントのプロンプトキャッシュ改善
新たな大規模モデルをローカルで実行する選択肢が増え、コーディング支援ツールによる会話の再処理が減った。最小メモリは短いコンテキストが前提であり、応答開始の改善を生成速度全体の向上と解釈してはならない。