本地 LLM 自托管成本:每日利用率、比较模型决定回本时间
Bas Nijholt 使用两张 RTX 3090 运行 LLM,但计算发现电费和硬件成本可能让 API 更便宜。结论取决于每天使用多久,以及拿哪种 API 模型比较。
devotd.
按韩国时间(KST)浏览专题日期。后补撰写的文章分别标明所对应的日期和实际发布时间。
Bas Nijholt 使用两张 RTX 3090 运行 LLM,但计算发现电费和硬件成本可能让 API 更便宜。结论取决于每天使用多久,以及拿哪种 API 模型比较。
LocalAI 4.11.0 允许将本地与远程模型按顺序放在同一名称下。只有响应开始前的部分故障会切换到下一个模型。