Strata v0.1.39: GPU·RAM·SSD 전문가 배치, 프리필과 디코드의 다른 병목
Strata는 GPU 메모리에 다 들어가지 않는 MoE 모델을 GPU, RAM, CPU, SSD에 나눠 실행한다. 어떤 가중치를 어디에 두고 어디서 계산하는지가 프롬프트 처리 속도, 첫 응답 대기, 생성 속도를 각각 다르게 좌우한다.
devotd.
로컬 AI
주제별 새 소식과 판단에 필요한 맥락을 모았다.
최신 글
55 개의 글Lemonade v2026.40.0: APU GTT 기준 크기 판정, ROCm 백엔드 두 개 제거
Lemonade 안정판 v2026.40.0이 AMD 내장 GPU에서 스트리밍 모델의 적격 크기를 GTT 풀로 판정한다. 같은 릴리스에서 openmoss:rocm과 Windows의 sd-cpp:rocm이 빠졌으므로 업그레이드 문제는 두 변화 중 어느 쪽에서 왔는지에 따라 원인이 다르다.
llama.cpp·Ollama 결정 모델: /v1/systemone 타입 응답, 모델별 신뢰도 기준
llama.cpp와 Ollama가 /v1/systemone으로 생성 문장 대신 타입이 정해진 결정을 반환한다. 응답 파싱은 단순해지지만, 확률값이 정답을 보증하지는 않고 신뢰도 기준은 모델마다 다르다.
로컬 LLM 자가호스팅 비용: 하루 가동 시간, 비교 모델에 따른 손익
RTX 3090 두 장으로 LLM을 운영하는 Bas Nijholt는 전기료와 장비값을 고려하면 API가 더 저렴할 수 있다고 계산했다. 하지만 어느 모델과 비교하는지, 장비를 얼마나 쓰는지에 따라 결론은 달라진다.
LocalAI 4.11.0: 로컬·원격 장애 전환, 응답 시작 전 오류만 재시도
LocalAI 4.11.0은 한 모델명에 로컬·원격 모델을 순서대로 연결하는 장애 전환 기능을 추가했다. 다만 응답 전송이 시작되기 전의 일부 오류에서만 다음 모델로 넘어간다.