Ling-3.1-flash-1019：100万トークン入力、エージェント性能の改善

1. エージェント・科学評価でスコアが改善

モデル情報や使い方を記載したモデルカードによると、新バージョンには学習済みモデルを追加調整する事後学習の最適化が施された。同社の発表では、エージェント関連評価のAA-Briefcaseが約1400から1524 Eloに上昇した。Eloは相対的な評価スコアを示す尺度だ。

表：旧バージョンとLing-3.1-flash-1019の主な評価結果

条件：モデルカードに記載された同社の発表に基づき、各評価の前後の値を個別に比較

単位：個別評価は%、変化幅はパーセントポイント / 総合指数は点

比率で示された3評価では、科学評価のCritPtが8パーセントポイントと最大の改善幅を示し、自動化作業評価のAutomationBench-AAが6パーセントポイント、SciCodeが3パーセントポイントと続いた。科学の問題解決でも評価によって改善幅は異なる。総合性能を測るArtificial Analysis Intelligence Index v4.3.2の3点上昇は、個別評価の比率の変化とは区別すべきだ。

モデルページで評価情報を説明する付加情報の評価メタデータには、Terminal-Bench 4.0のスコア32.8とTerminal-Bench-Scienceのスコア4.3も記載されている。

出典はArtificial Analysisのリーダーボードで、両結果はmini-swe-agent実行ツールを使い、課題ごとの初回試行の成功を評価して3回の平均を取った値だ。

2. 100万トークン入力を掲げるハイブリッド構造

モデルカードは、総パラメータ数5600億、トークン当たりのアクティブパラメータ数250億と、長い資料を一度に処理する100万トークンの入力ウィンドウを示している。複数の専門家から入力ごとに一部だけを選んで計算するMoE構造を採用し、入力の重要部分に注目するアテンションには線形方式のKDAとゲート方式のGated MLAを組み合わせた。両方式の層はそれぞれ63層と9層で、7:1の比率で配置されている。

複数の長い文書を1回の入力で扱いたい開発者にとって、大きな入力ウィンドウは文書を分割する負担を減らせる。評価スコアの改善と併せて見ると、多くの資料を読んだ後に複数段階の作業を進める用途を狙ったモデルだ。

3. 推論環境とリクエスト例

カードは、モデルの回答を計算する推論実行環境としてSGLangを推奨している。公開当日に提供されるイメージには、複数の後続トークンを先に予測して応答生成を高速化する手法と、Hopper GPU向けの最適化が含まれると説明している。

案内されているサーバー構成はH200が8基、またはGB300が4基だ。モデル計算と専門家の計算を複数GPUに分散する並列化設定は、それぞれGPU数に合わせる。任意のHopper最適化は、同社の発表では一度に1件のリクエストを処理するバッチサイズ1の条件で、出力トークン生成速度を約10%向上させる。

カードのリクエスト例は以下のとおり。モデル名と、次のトークンの選択方法を定めるサンプリング設定値は原文の例をそのまま転記した。

curl -s http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Ling-3.1-flash",
       "messages": [{"role": "user", "content": "What is the capital of France?"}],
       "chat_template_kwargs": {"enable_thinking": true},
       "stream": true,
       "temperature": 1.0,
       "top_k": 20,
       "top_p": 0.95}'

4. 性能向上と運用コスト

長い入力と評価スコア改善の利点は、多くの資料を投入する多段階作業にある。一方、一部のパラメータしか計算しなくても、学習済みモデルの計算の基準となる数値である全重みを格納するリソースは必要だ。リポジトリの使用容量は約574GBで、重みは54ファイルに分かれているため、自社運用チームは処理性能だけでなく、メモリや複数GPUを備えた配備のコストを検討する必要がある。

重みのライセンスはMITと表示されている。

配備時の確認：カードの100万トークンという説明と、リポジトリの最大位置設定値262144が異なり、実行例も旧モデルのパスと名前を使っているため、配備前に入力長の対応範囲とモデル指定を確認する必要がある。

評価の表示：先に紹介した2つのターミナル評価結果は、ページのメタデータで未検証と表示されている。

Ling-3.1-flash-1019を選ぶ基準は、長い資料を活用する作業の改善効果が、複数GPUを運用するコストに見合うかどうかだ。