Hermes Agent 0.22.0：ローカル推論の統合、安定版への更新
Hermes Agent 0.22.0はローカルモデルの導入、サーバー運用、更新をまとめて管理する。ソース導入の既定の更新先も安定版になった。ただし外部アプリはNousゲートウェイを使うため、ローカル推論と作業全体のオフライン化は別だ。
devotd.
ローカル AI
テーマごとの動きと判断に必要な背景をまとめる。
最新記事
55 件の記事XeStrata xe0.1.43.1ホットフィックス：IntelのプリフィルをXMX経路に戻し、GPU機械語のターゲット取り違えを修正
XeStrata xe0.1.43.1は、xe0.1.43でIntel GPUのQwen3.8-Flash-NextのプリフィルがDP4a経路に落ちた退行を直した。1日前のxe0.1.42は、パッケージ内のGPU機械語が入れ替わっていた別の欠陥を直した。
Project Maya RTX 3090 2枚：デコード53.0 tok/s、MTPドラフトも同時に有効化した比較
Project Mayaの貢献者が、RTX 3090 1枚で26.0 tok/s、2枚で53.0 tok/sのデコード速度を報告した。2枚構成ではレイヤー分割、MTPドラフト、プリフィルのチャンクサイズも同時に変わっており、GPU数だけによるスケーリング倍率とは読めない。
llama.cpp Bonsai 2 27Bランタイムのマージ：Q2_0の正確性を確認、フォークの案内は維持
llama.cppは10月11日にPrism Bonsai 2 27Bのランタイム対応をマージした。ただし10月13日に確認したモデルカードとバックエンド文書は今もPrismフォークを求めており、ファイルのパッキング、ランタイムのリビジョン、バックエンドの組み合わせを別に確認する必要がある。
PXA 3.1：Overdriveプリセット、PXA量子化パックと学習するエキスパートマップ
PXA 3.1はTesla P100・V100などの古いNVIDIAカード向けにOverdriveプリセットを追加したが、速度の最適化はPXA量子化パックとパッケージ同梱のPXQNライブラリが前提だ。使用中に学習したエキスパートマップをコンテナの外に残すには、名前付きボリュームも必要になる。
Basaltエンジン：Blackwell専用のQwen3.8-Flash-Next、設定に依存するスループット
BasaltはStrataをフォークし、LinuxとNVIDIA Blackwell（sm_120）上のQwen3.8-Flash-Nextだけに絞ったエンジンだ。開発者が報告した665・354 tok/sは特定のモデルパック、ワークロード、調整済み設定の結果であり、組み込みの既定値と同時リクエスト時のコンテキスト分割も同じ重みで結果を左右する。
strata-mlx 32GB Macの報告：エキスパートキャッシュを縮小、スワップは106GBから1.7GBへ
strata-mlxは、Strataのモデルファイルを読む独立したMLXエンジンだ。実際の32GB MacBook Airでエキスパート予算を20.5GBから16GBに減らすと、生成速度がほぼ倍になり、累積スワップアウトも大きく減ったという利用者の測定が出た。
audio.cpp 0.9.1：PocketTTSのCPU depthwiseアップサンプラー、AVX-512バイナリの注意点
audio.cpp v0.9.1は、PocketTTSのCPU Mimiアップサンプラーで32MiBの密な対角重みの代わりに64KiBのdepthwiseモジュールを使う。メンテナーの測定では4スレッドのフレーム当たりデコード時間が30.50msから10.11msに減ったが、GPU経路は変わらず、一部のリリースバイナリはAVX-512を要求し得る。
MSI Prestige N16 Flip AI+香港予約：最大128GB共有メモリ、Windows on Arm
MSIは10月8日、香港でRTX Sparkベースの2-in-1ノートPC、Prestige N16 Flip AI+の予約を始めた。最大128GBはCPUとGPUが共有する容量で、ローカルAI用途ではWindows on Arm上の実際のソフトウェア構成がその中で動くかが鍵になる。
WHIRL v0.1.4：ブラウザのCORSをローカルの出所に限定、止まったストリーミングクライアントを30秒で整理
WHIRL v0.1.4は、ネイティブWindows LLMサーバーのCORSの既定値を、ループバックアドレスから提供されるWebページに絞った。推論コードと速度はv0.1.3と同じで、応答の読み取りを止めたストリーミングクライアントが他のユーザーを止めないように変わった。