Bas Nijholt 在10月2日的一篇文章中说,自己用两张 RTX 3090 运行 Qwen3.8 27B,但目的并不是省钱。文章随后在 r/LocalLLaMA 引发讨论。

他的计算显示,电价超过每千瓦时14.5美分时,仅电费就高于 GPT-6 Luna API 的账单。若计入显卡购买成本,三年回本需要免费电力下每天使用4小时,或在每千瓦时18美分时每天使用8.5小时。

然而,与托管同一个 Qwen3.8 27B 的 API 相比,自托管更便宜。决定结论的是 API 比较对象,而不只是硬件。

作者后来补充了128GB的 Mac、DGX Spark 和 AMD AI Max 设备。按其估算,即使电力免费,设备成本也需要6至10年才能收回。

硬件成本和未对齐的模型质量

对于已持有的硬件,只计算电费可以说明增量成本;如果是新购设备,就不能忽略购置费、使用时长和维护投入。

模型质量也尚未严格对齐。Nijholt 说明,他没有在本地量化模型上重新跑对比基准测试,而是采用 API 版本的 Qwen 得分。

此前未能直接复核 Reddit 评论。因此本文介绍的是作者的计算和公开讨论,并非独立复测的同任务成本实验,也不代表用户共识。

按实际任务计算的项目

更可比的方法是让本地与 API 处理相同任务,先记录完成率、延迟和重试次数,再计入硬件费用、电价和每天运行时间。

隐私、离线使用和模型控制权可以成为额外付费的理由。作者也提到乐趣和控制权。

本地 LLM 是否划算,取决于使用强度、比较的 API 模型以及真正完成了多少工作,而不只是显卡价格。