Ollama v0.40.7-rc0: 추론·초안 처리 개선, 판정 모델 지원

1. Responses에서 추론 설정을 다루는 방식

Responses API를 사용하는 클라이언트는 추론 기능을 지원하지 않는 모델로 바꿔도 이전 reasoning.effort 값을 다음 요청에 보낼 수 있다. 답변 전 추론 단계를 얼마나 수행할지 정하는 값이 새 모델에도 남아 요청이 거부되던 문제다. 이번 변경으로, think를 직접 지정하지 않았다면 남아 있던 추론 설정을 무시하고 추론 미지원 모델에서도 요청을 처리한다. PR #19010

		if req.Think == nil {
			c.Set("relax_thinking", true)
		}

완화 처리는 사용자가 think를 직접 정하지 않았을 때 적용된다. 직접 지정한 값의 우선순위와 검증은 유지되며, 잘못된 추론 단계 이름도 여전히 오류로 처리된다. 추론을 꼭 요구하는 요청이라면 think를 명시적으로 켜서 지원 여부를 확인하는 편이 낫다. PR #19010

웹 검색 뒤 내부적으로 이어지는 후속 요청에도 앞서 해석한 설정을 재사용한다. 검색까지 성공하고도 다음 답변에서 추론 미지원 오류가 나던 문제를 함께 고친 것이다. PR #19010

2. 초안 모델 종류는 가능한 경우 자동 판별

추론 가속용 보조 모델인 초안 모델은 이제 실행 서버가 대부분 종류를 자동 판별한다. 일반 초안 모델에서는 Ollama가 파일 경로와 예측 토큰 수를 넘기고, 타입 선택은 llama-server에 맡긴다. 사용자가 직접 지정할 항목이 바뀌었다기보다 두 구성 요소 사이의 역할이 달라진 것이다. PR #19064

MTP 보조 파일과 Eagle3는 자동 판별의 예외여서 종류를 지정해 전달한다. 여러 조각으로 나뉜 모델은 뒤쪽 파일의 판별 표식도 검사한다. PR #19064

예측 토큰 수가 0 이하이면 초안 모델 인자를 추가하지 않아 추론 가속을 끄는 기존 동작은 유지된다. PR #19064

3. PPLX Decider v1.2 지원과 준비 조건

모델 실행 기반인 MLX에 PPLX Decider v1.2 지원이 추가됐다. 질문의 선택지에 점수를 매기는 이 판정 모델은 이미지 입력도 처리한다. PR #19072

이 모델의 비인과적 주의집중은 앞선 입력뿐 아니라 뒤쪽 입력까지 참조한다. 따라서 질문이나 상태가 바뀌면 앞부분의 계산 결과도 그대로 쓸 수 없어, 구현은 입력 앞부분의 계산을 저장한 캐시를 재사용하지 않는다. 뒤쪽 정보까지 반영하는 대신 캐시 재사용을 포기하는 절충이다. PR #19072

원문은 모델이 라이브러리에 올라왔지만 배포 대상을 묶는 매니페스트 목록은 아직 만들어지지 않았으며, 최소 버전은 0.40.7을 전제로 한다고 안내한다.

가져오기에는 별도 판정 가중치 파일인 readout.safetensors와 판정·질문 결합 설정 파일이 필요하다. 판정 가중치는 수치 정밀도 형식인 BF16을 유지해야 한다. PR #19072

실행하려면 모델 실행 지시를 담는 설정 파일인 Modelfile에 발행사의 시스템 프롬프트가 있어야 하며, 없으면 요청이 거부된다. PR #19072

요청당 질문은 1~64개이고, 한 번에 처리할 수 있는 입력 길이인 컨텍스트 한도를 넘으면 질문 목록을 나눈다. 질문 하나에 공통 입력을 붙인 길이조차 한도를 넘으면 오류로 처리한다. PR #19072

4. 편의와 운영 부담의 균형

이익은 모델을 교체할 때 이어진 설정 때문에 대화가 막히는 일을 줄이고, 초안 모델 종류 선택을 실행 서버의 판별 능력에 맞춘다는 데 있다. 반면 판정 모델은 긴 요청을 나눌 때 공통 입력인 상태와 이미지를 각 부분에 다시 넣으므로 입력 처리량이 늘 수 있다. PR #19072 속도 향상이나 자원 사용량을 비교한 측정 결과는 제시되지 않았다.

이번 시험판의 핵심은 요청 호환성을 개선하고 지원하는 모델의 범위를 넓힌다는 데 있다.