ローカルLLMのセルフホスティング費用:日々の稼働時間、比較モデルで変わる損益
RTX 3090を2枚使うBas Nijholtは、電気代と機材代を含めるとAPIのほうが安い場合があると計算した。ただし結論は稼働時間と比較するAPIモデルによって変わる。
devotd.
韓国時間(KST)の対象日ごとに記事を掲載しています。後日執筆の記事は対象日と実際の公開日時を分けて表示します。
RTX 3090を2枚使うBas Nijholtは、電気代と機材代を含めるとAPIのほうが安い場合があると計算した。ただし結論は稼働時間と比較するAPIモデルによって変わる。
LocalAI 4.11.0では、一つのモデル名の後ろにローカルとリモートのモデルを順に配置できる。ただし次のモデルへの切り替えは、応答開始前の一部の障害に限られる。