Granite Switch 4.1…

IBMは、対話応答、選択肢の判断、音声の文字起こしを1つのモデルで提供する。音声や分類の機能を対話サービスに組み込みたい開発者は、サーバーを分けずに同じエンドポイントへリクエストを送れる。

1. 基本モデルに必要な機能をまとめた

モデルカードに記載された公開日は2026年10月14日で、紹介ブログは翌日に公開された。基本モデルのパラメーター数が80億の構成と300億の構成が登場した。ウェイトはApache-2.0ライセンスで公開された。

両構成には、機能を追加する小規模な追加ウェイトであるアダプターが2つ含まれる。一般判断用は状態と選択肢を受け取り、選択肢ごとの確率を返す。安全判断用は有害性や脱獄の試みなどを検知する。4億7000万パラメーターの音声認識器も含まれる。

アダプターは、基本モデルが前半を処理して保存した計算結果であるキャッシュを再利用する。

音声は認識器が先に文字に変換してから対話の文脈に入れるため、言語モデルが音を直接理解する方式とは異なる。

vLLMでは、プロジェクトのプラグインをインストールして実行する。以下は、リポジトリをダウンロードしてそのディレクトリに移動した後に使う、8Bモデルカードのサーバー起動例だ。

pip install -e ".[vllm]"

python -m vllm.entrypoints.openai.api_server \
  --model ibm-granite/granite-switch-4.1-8b \
  --port 8000

リクエストでadapter_nameにアダプター名を渡すと、対話テンプレートが切り替え用の制御トークンを挿入する。一般判断の呼び出しでは、システム指示文を使わず、状態と質問を2つのユーザーメッセージに分けて送る。状態部分を通常の対話と同じに保ち、前半の計算を共有する設計だ。

判断結果は回答文ではなく、選択肢ラベルの確率を対数で表した対数確率をリクエストして読み取る。1トークンで表せるラベルを指定し、戻り値を全選択肢に対する確率に正規化する。一方、安全判断アダプターは、はい・いいえの判定をJSONに格納して返す。

モデルカードでは、Decision Indexの公開高速評価サブセット1,068項目をv0.3の採点方式で評価した。

評価はホストされたvLLMで実施した。固定された判断用システム指示文、状態、1トークンのラベルが付いた選択肢を使っているため、前述の一般的な呼び出し例とは指示文の条件が異なる。

判断アダプターの総合スコアは100点尺度で8Bが42.9、30Bが50.1だった。領域別スコアを100倍で表示したツール領域はそれぞれ59.8と76.5で、検索領域は両方とも49.8だった。大きなモデルの利点が領域ごとに同じではないことを意味する。

学習していない領域では、一般判断の確率を確定的な分類ではなく、追加判断の出発点となる値として扱う必要がある。

同じ構成でのローカル評価とホスト環境での評価の結果は、約0.6点以内で一致したとカードに記載されている。ただし、測定時のハードウェアと量子化の条件は示されていない。このスコアだけで、デプロイ時の速度やメモリ使用量まで判断することはできない。

IBMは、統合モデルのGPUメモリ使用量は基本モデルだけを使う場合とほぼ同じだと説明する。機能ごとにサーバーを分ける負担は減るが、アプリケーションは応答の種類に応じて確率計算と安全判定の解釈を分ける必要がある。

選択肢が多いとリクエスト数も増える。vLLMはラベルの対数確率のリクエストを1回128トークンに制限する。カードでは、同じ質問を保ち、ラベルを128個以下に分けてリクエストし、結果を合わせて確率を計算するよう案内する。上限のない呼び出しと数学的には同じだが、複数回のリクエストが必要になる。

音声入力は英語のみをサポートし、結果は小文字で句読点がない。音声認識器と言語モデルは共同訓練されておらず、両者をつなぐ学習済みの接続もない。誤って文字起こしされた内容は、その後の回答や判断内容を変える可能性がある。

内蔵の安全アダプターは、アプリケーションレベルの安全性試験の代わりにはならない。公開構成には、事実性の検知・修正やポリシーガードレールのアダプターはない。

Granite Switch 4.1の導入価値は、サーバー統合そのものよりも、統合後も機能別の応答処理と検証を担えるかどうかにかかっている。