Bas Nijholtは10月2日の記事で、RTX 3090を2枚使ってQwen3.8 27Bを動かしているが、節約が目的ではないと書いた。記事はr/LocalLLaMAでも議論された。

彼の試算では1kWh当たり14.5セントを超えると、電気代だけでGPT-6 Luna APIの料金より高くなった。カード代まで含む3年間の回収には、電力が無料なら毎日4時間、18セントなら毎日8.5時間の稼働が必要だった。

一方、同じQwen3.8 27Bを提供するAPIとの比較ではセルフホスティングが安かった。結論は比較するAPIモデル次第で変わる。

後から追加した節では、128GBのMac、DGX Spark、AMD AI Maxも扱った。彼の推計では電力が無料でも機材代の回収に6～10年かかる。

機材費とそろっていないモデル品質

すでに持つ機材なら電気代だけを増分費用として扱える。新しく買うなら購入費、日々の稼働時間、保守の負担も計算に入る。

品質も厳密には一致していない。Nijholtはローカルの量子化モデルで比較ベンチマークを再実行せず、API版Qwenの測定スコアを用いたと記している。

以前の確認ではRedditのコメントを直接再検証できなかった。ここで紹介するのは著者の試算と公開議論であり、同一作業の独立測定や利用者全体の合意ではない。

実際の処理で比較する項目

ローカルとAPIで同じ仕事を実行し、完了率、応答時間、再試行回数を比べることが費用表の出発点になる。機材代、電気料金、1日の利用時間も併記する。

プライバシー、オフライン利用、モデルを選ぶ自由は、費用が高くてもローカルを選ぶ理由になる。著者も楽しさと制御権を挙げている。

ローカルLLMの損益はGPUの価格だけではなく、稼働時間と比較するAPI、実際に完了する仕事で決まる。