Ollamaに、自分のコンピューターで音声を生成し、入力を分類したり選択肢を採点したりする機能が追加された。音声応答を組み込みたいアプリ開発者は生成中のオーディオを受け取って再生でき、入力を判別したい開発者は専用モデルを選べる。

1. テキストやチャットの回答を生成中に音声で聞ける

10月24日に公開されたOllama 0.40.11は、macOSでの音声生成に対応する。コマンドラインでは、入力したテキストだけでなく、チャットモデルの回答も読み上げられる。文字で受け取っていたモデルの応答を、聞く形でも利用できるようになった。

音声はオーディオの生成中に再生される。完成した音声ファイルを受け取ってから再生する流れとは異なり、生成と再生が並行して進む方式だ。

2. d3は回答作成よりも入力の判別に重点を置く

d3は、vLLM Semantic Routerの決定モデルをOllamaに導入したモデル群だ。ここでいう決定モデルは、入力がどのカテゴリーに属するかを分類したり、質問にはい・いいえで答えたり、選択肢ごとに確率を付けたりするモデルを指す。自由な回答を長く書かせるよりも、決められた質問への判定に活用する方式だ。

入力にはテキスト、構造化された状態、画像を使える。開発者は入力資料とともに、何を判断するかを指定する。例えば、顧客がカードで二重に請求されたと述べた文を入力し、請求の問題に該当するかを尋ねる方式だ。これはリリースノートに示された使用例だ。

モデル群には2B、4B、9B、27Bのサイズが含まれる。この数字はモデルの規模を示す。分類や採点に使うモデルを選ぶ際に、サイズ別の選択肢が用意されていることになる。

3. アプリは音声APIでオーディオを受け取って再生する

アプリでは、リクエストの送信先となるOpenAI互換の/v1/audio/speechエンドポイントで音声を生成し、オーディオをストリーミングできる。アプリがこのアドレスに音声生成リクエストを送ると、生成されるオーディオを受け取って再生する流れを構築できるという意味だ。コマンドラインで直接聞く使い方に加え、アプリに音声出力をつなぐ接点も提供する。

アプリ開発者にとっての利点は、生成が終わる前にオーディオを受け取って再生できることだ。実装面でアプリ側に残る作業は、リクエストを送り、届くオーディオを受信して再生するようにつなぐことだ。音声生成機能の追加と、それをユーザーに聞かせるアプリの構成は、併せて検討する必要がある。

4. 短い質問で決定モデルを試せる

以下はリリースノートに掲載された決定モデルの実行例だ。顧客のカードに二重請求があったという文の後に、請求の問題かどうかを尋ねる質問を付けている。モデルが確認する資料と答えるべき質問を、一つのコマンドにまとめた構成だ。

ollama run d3 "A customer says their card was charged twice." --ask "Is this a billing issue?"

音声を直接聞く原文の例では、phononモデルに短いあいさつを渡す。コマンドラインで音声再生を試す場合と、アプリでオーディオを受け取って利用する場合の入り口が、それぞれ用意されていることになる。

リリースノートは音声対応プラットフォームとしてmacOSを明記しており、韓国語の文章校正機能や韓国語の処理性能については説明していない。

Ollama 0.40.11の要点は、生成中の音声応答を聞かせる経路と、入力を判別するモデルを、ローカル開発の選択肢に加えたことにある。