Pydantic AI 2.62.0: 추론 강도 조정, 모델 오류 분류

1. 대화 중 추론 강도를 조정

추론 강도는 모델이 답을 만들 때 추론에 얼마나 노력을 들일지 정하는 설정이다. 이번 변경으로 대화 내내 같은 강도를 유지하는 대신, 대화가 이어지는 중간에 이를 조정할 수 있다. OpenAI에서는 configuration_update로 변경을 전달하며, Anthropic은 메시지마다 output_config를 보낸다. 두 제공사의 요청 형식은 다르지만, 실행 중 설정을 조정한다는 사용 목적은 같다.

변경된 설정은 ModelSettingsDeltaPart로 대화 기록에 저장된다. 따라서 대화 이력에는 추론 강도가 바뀐 시점과 변경 사항이 별도 항목으로 반영된다. 기존 대화 기록을 다루는 코드는 새 기록 항목을 고려해야 한다. 릴리스 노트는 이 변경을 호환성 주의 사항에도 포함했다.

OpenAI 호환 제공사를 통해 Claude를 사용하는 경로도 수정됐다. 해당 제공사의 고유 형식이 아닌 추론 정보를 사용자 메시지에 담아 전달하도록 했으며, 변경 대상은 OpenAIChatModel과 OpenAIResponsesModel이다. 추론 강도를 설정하는 기능과 함께, 추론 정보 자체를 전달하는 경로도 손본 것이다.

2. 모델 요청 오류를 원인에 따라 구분

요청 거절에는 ModelRequestRejectedError, 인증 실패에는 ModelAuthenticationError라는 오류 범주가 추가됐다. 애플리케이션은 실패를 하나의 오류로 묶는 대신 이 범주를 기준으로 후속 처리 흐름을 나눌 수 있다.

모델을 찾을 수 없는 경우에는 ModelNotFoundError가 추가됐다. 예를 들어 인증 정보를 점검해야 하는 상황과 모델 이름을 점검해야 하는 상황에 서로 다른 안내를 붙이는 데 활용할 수 있다. 새 분류의 실용적 의미는 실패 원인에 맞춰 애플리케이션의 대응을 설계할 단서가 늘었다는 데 있다.

3. 캐시 유지와 기록 변경을 함께 고려

추론 강도를 바꾸는 기능의 이점은 매 대화에서 동일한 설정을 고정하지 않아도 된다는 점이다. OpenRouter에서는 변경을 configuration_update 시스템 메시지로 전달해 프롬프트 캐시, 반복 입력을 재사용하는 임시 저장 기능을 유지하도록 고쳤다. 설정 변경의 유연성을 높이면서 캐시를 보존하는 것이 이번 수정의 구체적인 효과다.

대신 개발자가 관리할 대상도 늘어난다. 대화 기록을 저장하거나 읽는 코드에는 설정 변경 항목을 반영하고, 요청을 직접 구성하는 코드에는 제공사별 전달 방식을 반영하는 작업이 따른다. 설정을 유연하게 바꾸는 이점과 기록·요청 처리의 조정 부담이 함께 생기는 셈이다.

릴리스 노트는 캐시 보존 수정과 새 오류 범주를 제시하지만, 비용·응답 시간 측정값이나 제공사 응답별 예외 대응표까지 제공하지는 않는다.

4. 오류 분류와 재시도 흐름을 함께 점검

Azure에서는 응답을 나누어 받는 도중 발생하는 too_many_requests 오류를 대체 모델 처리용인 FallbackModel이 분류하도록 수정했다. 오류가 반환되는 경로에 따라 대체 모델로 넘기는 흐름을 다루는 수정이다. Azure에서 이 기능을 사용하는 개발자라면 새 오류 범주뿐 아니라 이 경로도 함께 점검할 만하다.

백그라운드 도구, 사용자 대화와 별도로 실행되는 도구의 단계가 끝난 뒤 발생한 ModelRetry도 max_retries 횟수에 포함하도록 했다. 재시도 요청이 언제 발생했는지에 따라 횟수 계산에서 빠지던 경로를 손본 것이다.

적용 시에는 설정 변경이 대화 이력에 남는 흐름과, 각 오류 범주를 받아 처리하는 흐름을 나눠 살펴보는 것이 유용하다. 릴리스 노트가 추론 강도 변경과 새 오류 범주를 모두 호환성 주의 항목에 올린 만큼, 기능을 추가하는 작업과 기존 기록·오류 처리의 점검을 함께 잡는 편이 낫다.

2.62.0은 제공사별 추론 설정을 대화 중 바꾸는 경로를 마련하고, 모델 실패를 원인별로 처리할 기반을 더한 업데이트다.