로컬 LLM 자가호스팅 비용: 하루 가동 시간, 비교 모델에 따른 손익
RTX 3090 두 장으로 LLM을 운영하는 Bas Nijholt는 전기료와 장비값을 고려하면 API가 더 저렴할 수 있다고 계산했다. 하지만 어느 모델과 비교하는지, 장비를 얼마나 쓰는지에 따라 결론은 달라진다.
devotd.
2026-10
지난 글을 한국 시간(KST) 기준으로 최신 순으로 모아두었습니다. 글은 대상 날짜로 묶이며, 실제 발행 시각과 사건 날짜는 글 페이지에서 따로 확인하실 수 있습니다.
최신 글
222 개의 글KST · 계속
LocalAI 4.11.0: 로컬·원격 장애 전환, 응답 시작 전 오류만 재시도
LocalAI 4.11.0은 한 모델명에 로컬·원격 모델을 순서대로 연결하는 장애 전환 기능을 추가했다. 다만 응답 전송이 시작되기 전의 일부 오류에서만 다음 모델로 넘어간다.