Basaltエンジン：Blackwell専用のQwen3.8-Flash-Next、設定に依存するスループット
BasaltはStrataをフォークし、LinuxとNVIDIA Blackwell（sm_120）上のQwen3.8-Flash-Nextだけに絞ったエンジンだ。開発者が報告した665・354 tok/sは特定のモデルパック、ワークロード、調整済み設定の結果であり、組み込みの既定値と同時リクエスト時のコンテキスト分割も同じ重みで結果を左右する。
devotd.
ローカル AI
テーマごとの動きと判断に必要な背景をまとめる。
対象日順の記事
20 件の記事strata-mlx 32GB Macの報告：エキスパートキャッシュを縮小、スワップは106GBから1.7GBへ
strata-mlxは、Strataのモデルファイルを読む独立したMLXエンジンだ。実際の32GB MacBook Airでエキスパート予算を20.5GBから16GBに減らすと、生成速度がほぼ倍になり、累積スワップアウトも大きく減ったという利用者の測定が出た。
audio.cpp 0.9.1：PocketTTSのCPU depthwiseアップサンプラー、AVX-512バイナリの注意点
audio.cpp v0.9.1は、PocketTTSのCPU Mimiアップサンプラーで32MiBの密な対角重みの代わりに64KiBのdepthwiseモジュールを使う。メンテナーの測定では4スレッドのフレーム当たりデコード時間が30.50msから10.11msに減ったが、GPU経路は変わらず、一部のリリースバイナリはAVX-512を要求し得る。
MSI Prestige N16 Flip AI+香港予約：最大128GB共有メモリ、Windows on Arm
MSIは10月8日、香港でRTX Sparkベースの2-in-1ノートPC、Prestige N16 Flip AI+の予約を始めた。最大128GBはCPUとGPUが共有する容量で、ローカルAI用途ではWindows on Arm上の実際のソフトウェア構成がその中で動くかが鍵になる。
WHIRL v0.1.4：ブラウザのCORSをローカルの出所に限定、止まったストリーミングクライアントを30秒で整理
WHIRL v0.1.4は、ネイティブWindows LLMサーバーのCORSの既定値を、ループバックアドレスから提供されるWebページに絞った。推論コードと速度はv0.1.3と同じで、応答の読み取りを止めたストリーミングクライアントが他のユーザーを止めないように変わった。
Strata v0.1.39：GPU・RAM・SSDへのエキスパート配置、プリフィルとデコードで異なるボトルネック
Strataは、GPUメモリに収まりきらないMoEモデルをGPU、RAM、CPU、SSDに分けて動かす。どの重みをどこに置き、どこで計算するかが、プロンプト処理の速度、最初の応答までの待ち、生成速度をそれぞれ別々に左右する。
Lemonade v2026.40.0：APUのGTT基準のサイズ判定、ROCmバックエンド2つを削除
Lemonade安定版v2026.40.0は、AMD内蔵GPUでストリーミングモデルの適格サイズをGTTプールで判定する。同じリリースでopenmoss:rocmとWindowsのsd-cpp:rocmが外れたため、アップグレードの問題を見るときは両者を区別する必要がある。
llama.cpp・Ollamaの決定モデル：/v1/systemoneの型付き応答、モデルごとの信頼度基準
llama.cppとOllamaは/v1/systemoneで、生成した文の代わりに型の決まった決定を返す。応答のパースは単純になるが、確率値が正解を保証するわけではなく、信頼度の基準はモデルごとに異なる。
ローカルLLMのセルフホスティング費用：日々の稼働時間、比較モデルで変わる損益
RTX 3090を2枚使うBas Nijholtは、電気代と機材代を含めるとAPIのほうが安い場合があると計算した。ただし結論は稼働時間と比較するAPIモデルによって変わる。
LocalAI 4.11.0：ローカルとリモートの切り替え、応答開始前のみ再試行
LocalAI 4.11.0では、一つのモデル名の後ろにローカルとリモートのモデルを順に配置できる。ただし次のモデルへの切り替えは、応答開始前の一部の障害に限られる。