Ollama가 9월 29일 0.35부터 결정 모델을 지원한다고 밝혔고, ggml-org가 10월 2일 llama.cpp 서버의 지원을 발표했다. 두 곳 모두 /v1/systemone 엔드포인트에서 state와 이름 붙은 질문을 받는다.
결정 모델(decision model)은 문장을 생성하지 않고 주어진 선택지에 점수를 매겨 답하는 모델이다. 답은 항상 선택지 중 하나이며 확률이 붙는다.
질문 타입은 세 가지다. choice는 선택지별 확률을, score는 2~10단계 중 기대 수준을, noul은 예·아니요 질문에 대한 예일 확률을 돌려준다.
llama.cpp 목록에서 이미지를 읽는 모델은 작성 시점에 OpenJev 등 일부뿐이다. 이미지 입력은 결정 모델 공통 기능이 아니다.
주의할 점: 라이선스, 모델별 신뢰도, 공급자 수치
같은 인터페이스라도 라이선스는 다르다. OpenJev는 CC BY-NC 4.0이고 Julia-1·Kev-4B 등 다른 항목은 Apache 2.0이다.
llama.cpp 글은 신뢰도 기준을 모델마다 정하라고 적었다. 모호한 문의 하나가 Julia-1에서는 0.25, Kev-4B에서는 0.80을 받았다.
선택지 설명도 결과를 바꿨다. Julia-1은 이름만 준 선택지에서 이중 청구 문의를 shipping으로 보냈고, 설명을 붙이자 billing(0.99)으로 보냈다.
속도 수치는 공급자 측정이다. llama.cpp는 RTX PRO 6000 한 대 기준 중앙값을, Ollama는 M5 Max에서 Nimble 9B가 결정당 평균 91ms였다고 밝혔다. 이 기사는 모델을 실행하거나 지연 시간을 재지 않았다.
라우팅 전에 정하는 라벨과 보류 경로
분류나 라우팅에 쓴다면 임계값보다 라벨 정의와 판단을 보류할 경로를 먼저 정한다. 평가 입력에는 일반 사례뿐 아니라 모호하거나 범위를 벗어난 사례도 들어간다.
확률이 한쪽으로 몰려도 정확도나 보정이 확인된 것은 아니다. 중요한 결정에는 예측을 믿기 어려울 때 넘길 대체 경로가 남아 있어야 한다.
결정 모델은 파싱을 없애 주지만, 어느 확률에서 믿을지는 여전히 모델마다 직접 정할 일이다.