ローカルLLMのセルフホスティング費用:日々の稼働時間、比較モデルで変わる損益
RTX 3090を2枚使うBas Nijholtは、電気代と機材代を含めるとAPIのほうが安い場合があると計算した。ただし結論は稼働時間と比較するAPIモデルによって変わる。
devotd.
韓国時間(KST)の対象日ごとに新しい順に記事を掲載しています。各記事はここで対象日を示し、実際の公開日時と出来事の日付は記事ページ内に記載しています。
RTX 3090を2枚使うBas Nijholtは、電気代と機材代を含めるとAPIのほうが安い場合があると計算した。ただし結論は稼働時間と比較するAPIモデルによって変わる。
LocalAI 4.11.0では、一つのモデル名の後ろにローカルとリモートのモデルを順に配置できる。ただし次のモデルへの切り替えは、応答開始前の一部の障害に限られる。