Ollama 0.40.11: 로컬 음성 생성, d3 결정 모델

1. 텍스트와 채팅 답변을 생성 중에 소리로 들려준다

10월 24일 공개된 Ollama 0.40.11은 macOS에서 음성 생성을 지원한다. 명령줄에서는 입력한 텍스트뿐 아니라 채팅 모델이 내놓은 답변도 소리 내어 읽게 할 수 있다. 글로 받던 모델의 응답을 듣는 방식으로도 이용할 수 있게 된 것이다.

음성은 오디오가 만들어지는 동안 재생된다. 완성된 음성 파일을 받은 뒤 재생하는 흐름과 달리, 생성과 재생이 함께 진행되는 방식이다.

2. d3는 답변 작성보다 입력 판별에 초점을 맞춘다

d3는 vLLM Semantic Router의 결정 모델을 Ollama로 가져온 모델군이다. 여기서 결정 모델은 입력을 보고 어느 범주에 속하는지 분류하거나, 질문에 예·아니오로 답하거나, 선택지마다 확률을 매기는 모델을 가리킨다. 자유로운 답변을 길게 쓰게 하기보다 정해진 질문에 대한 판정에 활용하는 방식이다.

입력으로는 텍스트와 구조화된 상태, 이미지를 줄 수 있다. 개발자는 입력 자료와 함께 무엇을 판단할지 지정한다. 예를 들어 고객이 카드로 두 번 결제됐다고 말한 문장을 넣고, 청구 문제에 해당하는지를 묻는 방식이다. 이는 릴리스 노트가 제시한 사용 사례다.

모델군에는 2B, 4B, 9B, 27B 크기가 포함된다. 이 숫자는 모델 규모를 나타낸다. 분류나 점수화에 쓸 모델을 고를 때 크기별 선택지가 제공되는 셈이다.

3. 앱은 음성 API로 오디오를 받아 재생한다

앱에서는 OpenAI 호환 /v1/audio/speech 엔드포인트, 요청을 보내는 접속 주소로 음성을 생성하고 오디오를 스트리밍할 수 있다. 앱이 이 주소로 음성 생성 요청을 보내면, 만들어지는 오디오를 받아 재생하는 흐름을 구성할 수 있다는 의미다. 명령줄에서 직접 듣는 사용 방식에 더해 앱에 음성 출력을 연결할 접점도 제공한다.

앱 개발자에게 이점은 생성이 끝나기 전에 오디오를 받아 재생할 수 있다는 것이다. 구현 관점에서 앱 쪽에 남는 작업은 요청을 보내고, 들어오는 오디오를 받아 재생하도록 연결하는 일이다. 음성 생성 기능의 추가와 이를 사용자에게 들려주는 앱의 구성은 함께 고려할 작업이다.

4. 짧은 질문으로 결정 모델을 실행해 볼 수 있다

다음은 릴리스 노트에 실린 결정 모델 실행 예시다. 고객의 카드가 두 번 결제됐다는 문장 뒤에 청구 문제인지 묻는 질문을 붙였다. 모델이 살펴볼 자료와 답해야 할 질문을 한 명령에 담은 구성이다.

ollama run d3 "A customer says their card was charged twice." --ask "Is this a billing issue?"

음성을 직접 들어보는 원문 예시는 phonon 모델에 짧은 인사말을 전달한다. 명령줄로 음성 재생을 시도할 때와 앱에서 오디오를 받아 쓸 때의 진입점이 각각 마련된 셈이다.

릴리스 노트는 음성 지원 플랫폼으로 macOS를 명시하며, 한국어 문장 교정 기능이나 한국어 처리 성능은 설명하지 않는다.

Ollama 0.40.11의 핵심은 음성 응답을 생성 중에 들려주는 경로와 입력을 판별하는 모델을 로컬 개발의 선택지로 더한 데 있다.