로컬 LLM 자가호스팅 비용: 하루 가동 시간, 비교 모델에 따른 손익
RTX 3090 두 장으로 LLM을 운영하는 Bas Nijholt는 전기료와 장비값을 고려하면 API가 더 저렴할 수 있다고 계산했다. 하지만 어느 모델과 비교하는지, 장비를 얼마나 쓰는지에 따라 결론은 달라진다.
devotd.
2026-10
한국 시간(KST) 기준 날짜별 글입니다. 소급 작성한 글은 대상 날짜와 실제 발행 시각을 구분해 표시합니다.
대상 날짜별 글
152 개의 글KST · 계속
LocalAI 4.11.0: 로컬·원격 장애 전환, 응답 시작 전 오류만 재시도
LocalAI 4.11.0은 한 모델명에 로컬·원격 모델을 순서대로 연결하는 장애 전환 기능을 추가했다. 다만 응답 전송이 시작되기 전의 일부 오류에서만 다음 모델로 넘어간다.