Transformers v5.22.0：Mistral Large 4対応、100万トークンのコンテキスト

1. 長いコンテキストと画像入力を備えた大規模モデル

10月29日に公開されたTransformers v5.22.0は、Mistral Large 4への対応を追加した。モデルはテキストと画像を入力として受け取り、テキストで回答し、文書・図表・技術図面の分析を支援する。

総規模は1兆パラメータで、毎回モデル全体ではなく複数の専門モジュールから一部を選んで使う混合エキスパート構造を採用する。リリースノートによると、トークン当たりの処理に実際に使うアクティブパラメータ数は490億で、モデルの入力と出力をつなぐ入出力層を含めると520億となる。Mistralの発表では、アクティブパラメータ数を520億としている。

対応するコンテキスト長は100万トークンだ。リリースノートでは、このモデルは160を超える言語に堪能で、欧州連合の全公用語も含むと説明している。

2. 作業に合わせて推論の強度を選ぶ

1つのモデルで指示の実行、コーディング、ツールを使って複数の段階を進める作業を処理する。回答を作る際に計算をどれだけ行うかを示す推論強度は、低・中・高の3段階で、既定値は高だ。リリースノートは、複雑な依頼やツールの活用には高、素早い対話には低、日常的な利用には中を推奨する。

回答生成時の選択の幅を調整する設定には、推論強度にかかわらず同じ値が推奨される。以下は、リリースノートに記載された設定値を原文表記のまままとめたものだ。

reasoning_effort="high"
temperature=1.0
top_p=0.95

ツールを使う作業では、モデルの役割と指針をあらかじめ定めるシステムプロンプトに利用環境と目的を明記し、必要なツールだけを用意するようリリースノートは推奨している。モデルは、プログラムの機能を実行する関数呼び出しとJSON形式の出力に対応し、出力を所定のデータ構造に従うよう制限することもできる。

3. 同社発表の性能と評価条件

同社発表によると、コーディング評価のDeepSWE v1.1で61.7%、ターミナル作業の評価であるTerminal-Bench 4で28.3%を記録した。

同社発表によると、コーディング作業を総合したCoding Agent Indexのスコアは49.8%だ。

業務用アプリを活用する657のワークフローを評価したAutomationBenchでは、同社発表で59.9%を記録した。コーディングだけでなく、複数のアプリを経由して成果物を作る業務も検討対象となる。

モデルの情報を知らずに採点するコーディング結果のブラインド評価では、Surge AIの専門評価者がモデル名を伏せた成果物を1~5点で採点した。同社発表によると、この方式の評価でMistralのプレビューモデルは以下の5モデル中2位だった。

表：コーディング結果のブラインド評価

条件：Surge AIによる評価で、専門評価者がモデル名を伏せた成果物を1~5点で採点

単位：点（1~5点の尺度）

この評価でMistralモデルのスコアは首位モデルより低く、残る3モデルより高かった。別の画像内の位置把握評価であるDense 200では、同社発表で42%となり、GPT-6-Astraの41%を上回った。

4. ライセンスと実際の導入条件

リリースノートは、モデルがMistral Ecosystem Open-Weight Licenseに基づいて提供されると案内している。MITライセンスの修正版で、商用と非商用の利用を認める。

ただし、モデル自体をサービスとして提供する事業には、Mistralとの別途商用ライセンスが必要となる。重みの配布時期はMistralの10月6日の発表で10月末と予告され、当時提供されていた利用経路はMistral Studioの公開プレビューAPIだった。

5. 活用の幅と運用負担

長いコンテキスト、画像入力、ツール呼び出しを1つのモデルで扱えると、文書や図表を読み、その後ツールを使う作業をまとめやすくなる。開発者は依頼ごとに推論強度を選び、素早い対話と複雑な作業に同じモデルを適用できる。

自ら運用すれば、モデルを自社のワークフローに合わせて活用する余地が広がる一方、学習で決まるモデル内部の数値である大規模な重みを処理するハードウェアとメモリの負担が運用者に移る。導入判断の要点は、コーディング評価の順位だけでなく、文書処理からツール実行までをまとめた際の有用性と運用資源のバランスにある。

今回の対応の価値は新モデルを開発ツールにつなぐことにあり、導入の基準は長文・画像・ツール活用の有用性と運用コストのバランスだ。