Strata v0.1.39：GPU・RAM・SSDへのエキスパート配置、プリフィルとデコードで異なるボトルネック
Strataは、GPUメモリに収まりきらないMoEモデルをGPU、RAM、CPU、SSDに分けて動かす。どの重みをどこに置き、どこで計算するかが、プロンプト処理の速度、最初の応答までの待ち、生成速度をそれぞれ別々に左右する。
devotd.
ローカル AI
テーマごとの動きと判断に必要な背景をまとめる。
最新記事
55 件の記事Lemonade v2026.40.0：APUのGTT基準のサイズ判定、ROCmバックエンド2つを削除
Lemonade安定版v2026.40.0は、AMD内蔵GPUでストリーミングモデルの適格サイズをGTTプールで判定する。同じリリースでopenmoss:rocmとWindowsのsd-cpp:rocmが外れたため、アップグレードの問題を見るときは両者を区別する必要がある。
llama.cpp・Ollamaの決定モデル：/v1/systemoneの型付き応答、モデルごとの信頼度基準
llama.cppとOllamaは/v1/systemoneで、生成した文の代わりに型の決まった決定を返す。応答のパースは単純になるが、確率値が正解を保証するわけではなく、信頼度の基準はモデルごとに異なる。
ローカルLLMのセルフホスティング費用：日々の稼働時間、比較モデルで変わる損益
RTX 3090を2枚使うBas Nijholtは、電気代と機材代を含めるとAPIのほうが安い場合があると計算した。ただし結論は稼働時間と比較するAPIモデルによって変わる。
LocalAI 4.11.0：ローカルとリモートの切り替え、応答開始前のみ再試行
LocalAI 4.11.0では、一つのモデル名の後ろにローカルとリモートのモデルを順に配置できる。ただし次のモデルへの切り替えは、応答開始前の一部の障害に限られる。