Bas Nijholt는 10월 2일 공개한 글에서 RTX 3090 두 장으로 Qwen3.8 27B를 실행하지만 비용 절감이 목적은 아니라고 밝혔다. 이 글은 r/LocalLLaMA에서 논의됐다.

저자의 계산에서는 전기료가 kWh당 14.5센트를 넘으면 전력 비용만으로 GPT-6 Luna의 API 요금을 넘어섰다. 카드 구매비까지 고려하면 3년 동안 매일 무료 전력에서 4시간, kWh당 18센트에서 8.5시간을 사용해야 손익분기점에 도달했다.

다만 같은 Qwen3.8 27B를 외부 API로 이용하는 경우에는 자가호스팅 쪽이 저렴했다. 결론을 바꾼 것은 장비가 아니라 비교한 API 모델이었다.

글의 후속 보완에서는 Mac, DGX Spark, AMD AI Max 등 128GB 기기의 구매비도 다뤘다. 저자 계산으로는 무료 전력에서도 장비값 회수에 6~10년이 걸렸다.

장비값과 품질이 빠지면 달라지는 결론

이미 보유한 장비에서는 전기료만 계산할 수 있지만, 새로 구매한다면 초기 비용을 제외할 수 없다. 여기에 하루 사용 시간과 유지보수 부담까지 달라진다.

품질도 동일하다고 단정하기 어렵다. 저자는 로컬 양자화 모델의 비교 벤치마크를 다시 실행하지 않았고, API에서 측정한 Qwen 점수를 대신 사용했다고 밝혔다.

당시 Reddit 댓글은 직접 재확인할 수 없었다. 이 글은 저자의 비용 계산과 공개 토론을 소개한 것이지, 동일한 작업을 독립 측정한 결과나 이용자 전체의 합의가 아니다.

실제 작업으로 비교할 항목

로컬과 API에 같은 작업을 주고 완료율, 응답 속도, 재시도 횟수를 먼저 비교하는 방식이 비용표의 출발점이다. 하드웨어 구매비, 전력 단가, 일일 사용 시간도 함께 적는다.

프라이버시, 오프라인 사용, 모델 선택권은 비용과 별도로 자가호스팅을 선택할 이유다. 저자 역시 재미와 통제권을 계속 운영하는 이유로 꼽았다.

로컬 LLM의 비용 경쟁력은 GPU 가격 하나가 아니라 실제 사용 시간과 비교 대상 모델, 작업 완료 수준에 따라 달라진다.