Ollama v0.40.7: Responses API 보정, 모델 메타데이터 노출

1. 모델을 바꿔도 대화가 이어지도록 보정

Ollama는 v0.40.7 릴리스 노트에서 OpenAI 호환 Responses API의 대화 이어 가기를 수정했다고 밝혔다. 생각 과정을 다루는 기능이 있는 모델과 없는 모델 사이를 오갈 때 요청이 실패하던 문제가 대상이다. 하나의 대화에서 서로 다른 모델을 사용하는 서비스에 관계된 변경이다.

또 다른 수정 대상은 다른 제공업체의 압축 항목이 들어 있는 대화 이력이다. 이는 대화 내용을 줄여 담은 항목으로, 릴리스 노트에 따르면 이런 이력을 이용해 대화를 계속할 때도 요청이 실패하던 문제를 고쳤다. Ollama가 밝힌 수정 범위에는 모델 전환뿐 아니라 외부에서 받은 이력을 다시 쓰는 경로도 포함된다.

두 수정의 공통점은 새 답변을 생성하기에 앞서 기존 대화를 받아들이는 과정에 있다. 서비스를 점검하는 개발자라면 새 대화를 시작하는 경우와 별개로, 모델을 바꾼 뒤 이어 묻거나 외부 이력을 넘기는 경우를 확인할 수 있다.

2. 도구 호출이 앞서 나오거나 중복되는 문제 수정

응답을 나누어 보내는 스트리밍 처리, 응답을 조각내 순차 전송하는 방식에서는 도구 호출 이벤트의 순서가 수정됐다. 답을 만드는 내부 판단 과정인 추론 내용을 담은 항목이 아직 열린 상태에서 클라이언트 도구 호출이 먼저 나와, 호출 이벤트의 순서가 뒤섞이거나 중복되는 문제가 있었다.

버전 변경 사항을 정리한 문서인 릴리스 노트는 웹 검색을 사용하는 Codex를 그 예로 들었다. 여기서 중요한 것은 검색 기능의 추가가 아니라, 추론 내용과 도구 호출을 전달하는 순서의 보정이다. 도구를 호출하라는 신호가 잘못된 위치에 오거나 거듭 나타나던 상황을 바로잡았다.

이벤트를 받아 도구 실행 상태를 표시하는 애플리케이션에는 이 순서가 중요하다. 업데이트를 확인할 때 최종 답변만 살피기보다, 도구 호출이 어떤 차례로 도착하는지도 점검하는 편이 이번 수정의 효과를 파악하는 데 알맞다.

3. 모델이 대화를 처리하는 방식도 확인

Ollama는 릴리스 노트에서 모델 정보 조회에 렌더러와 파서, 채팅 템플릿의 출처를 추가했다고 밝혔다. 렌더러와 파서는 대화 형식을 만들고 읽는 처리 요소이고, 채팅 템플릿은 모델에 맞춰 대화 내용을 배치하는 틀이다. 릴리스 노트에 따르면 이제 모델 이름 외에 이런 처리 정보도 함께 살펴볼 수 있다.

Ollama가 이 정보를 보여 준다고 밝힌 명령줄 명령은 다음과 같다.

ollama show

릴리스 노트에 따르면 API도 같은 정보를 새 필드로 제공한다. Ollama는 renderer와 parser가 각각 모델이 쓰는 렌더러와 파서를 나타낸다고 설명했다. 발표에 따르면 명령줄에서 사람이 확인하는 데서 그치지 않고, 프로그램으로도 같은 값을 받아볼 수 있게 된 변화다.

Ollama의 설명에 따르면 template_source는 채팅 템플릿이 어디에서 왔는지 나타낸다. 이 출처 정보는 모델별 대화 형식 설정을 확인하려는 개발자에게 추가적인 단서가 된다.

4. 대화 경로 점검과 정보 연동이 활용의 핵심

이번 변경을 활용하는 출발점은 서비스가 어느 대화 경로를 쓰는지 살펴보는 일이다. 모델을 전환하거나 다른 제공업체의 이력을 받는 서비스는 대화 이어 가기를, 도구를 사용하는 서비스는 스트리밍 이벤트의 흐름을 중심으로 확인할 수 있다.

모델 정보 노출의 이익은 처리 방식을 알아보기 쉬워졌다는 데 있다. 이를 서비스의 관리 화면이나 자동 확인 기능에 활용하려면 새 응답 필드를 읽고 표시하는 연동 작업이 필요하다. 정보를 제공하는 쪽의 개선을 실제 관리 편의로 연결하는 작업은 클라이언트 쪽에 남는다.

대화 오류 수정과 정보 노출은 활용 지점도 다르다. 전자는 기존 대화를 계속하는 동작에 적용되고, 후자는 모델 설정을 관찰하는 수단을 늘린다. 따라서 대화 흐름의 정상 동작과 모델 정보의 활용 여부를 각각 확인하는 접근이 적절하다.

Ollama v0.40.7의 핵심은 대화가 끊기거나 도구 호출이 뒤섞이는 지점을 고치고, 모델의 대화 처리 방식을 확인할 수단을 늘린 데 있다.