美団が画像と文章を一つのモデルで併せて処理し、複数段階にわたるコーディング作業を実行するよう設計したLongCat-2.5を公開した。開発者はオンライン体験やAPIでモデルを試せる。今回の公開の要点は、画面理解からツールを使う長い作業までを一つのモデルで扱おうとする点にある。

1. 画像と文章を同じ入力構造で処理

LongCat-2.5の総パラメーター数は1兆6000億個で、トークンごとに約480億個を活性化する。パラメーターは学習過程で調整される数値だ。同社によると、LongCat-2.0を基に視覚理解と、ツールを使って課題を遂行するエージェントプログラミング能力を強化した。

モデルは画像を多層のコードである視覚トークンに変換し、文章と同じ入力形式で処理する。この設計は画面や画像の理解に加え、視覚要素を扱うコーディング、創作デザイン、3次元作業を狙う。

同社は画像を多層のトークンに圧縮して事前計算・保存し、学習のたびに視覚情報を再計算する負担を減らしたと説明した。画像と文章の表現を併せて学習する方式は、平均活性パラメーター数が約30億個の小規模モデルで先に検証した。

2. 長いコーディング作業を学習に反映

同社は作業開始から完了までの実行記録を学習にさらに取り入れ、結果に応じて報酬を与える試行錯誤型の強化学習を大規模に適用した。これにより、複雑なコードリポジトリの開発やプロジェクト構築を最初から最後まで遂行する能力を高めたという。

課題データは公開リポジトリと社内の実際のシナリオから作る。関連する変更要求やイシューに基づき、プログラム実行に必要な条件やツールである実行環境と検証テストを構成する。学習中には実際の実行記録と合格率で課題を再選別し、テストを補完する。

未完了の作業記録は保存し、次の学習段階で再開する。長い作業が一つ終わるのを待つ負担を減らす方式だ。

これとは別に、失敗した実際のエージェント作業も再現・検証可能な新しい学習課題に変え、能力の不足を補った。

複数の課題と作業環境を混ぜて訓練し、反復的な思考やツール呼び出しには追加のペナルティーを適用する。同社は作業を長く続ける能力とともに、不要な反復を減らす行動も学習させた。

3. コーディングと探索課題の代表的な評価結果

同社発表に基づく代表的な評価結果を前作と比較した。Terminal Bench v2.1とPaperBenchはコーディングエージェント評価、BrowseCompとAutomationBench v1.0.6は一般エージェント評価だ。

前作比でTerminal Bench v2.1は17.6点、PaperBenchは36.9点上昇した。BrowseCompとAutomationBench v1.0.6もそれぞれ12.0点、36.0点上昇した。PaperBenchは45.2点から82.1点へ、AutomationBench v1.0.6は15.8点から51.8点へ上昇し、前作の低かった点数を大きく引き上げた。BrowseCompは既に79.9点だった前作から91.9点へさらに上昇した。課題ごとに評価方法が異なり、比較モデルの点数も公開資料と同社の実測が混在するため、これらの数値を一つの順位として読むのは難しい。

4. アクセラレーターの制約に合わせた学習・推論基盤

LongCat-2.5は中国製AIアクセラレーターで長文脈の学習と推論を行うよう、基盤システムを最適化した。単一カードのメモリーが80GB未満という条件を考慮し、高速接続で結んだカード群の中で主要な通信が行われるよう構成した。同社発表によると、長い入力を使う正解例でモデルを追加学習する教師あり微調整では、カード1枚のスループットが、複数カードでデータを分けて学習する分散データ並列の基準より86%高かった。

推論では、モデル内で選択的に働く計算部分である「エキスパート」の重みと、入力に応じて計算中に生成される活性値を、ともに4ビットに下げる。重みはモデルが学習した接続の強さを表す数値だ。同社は評価した下位課題で、数値表現の精度を下げる手法である量子化前のモデルと同程度の性能を維持したと述べた。以下の数値は、同社発表のオンライン負荷試験で8ビットの重み・活性値の基準と比較した結果だ。

表：4ビット推論のオンライン負荷試験結果

条件：LongCat-2.5の4ビット推論とW8A8 INT8基準の比較、オンライン負荷試験

単位：%

アクセラレーターの制約に合わせた学習・推論基盤
項目変化率
入力スループット43.3
生成スループット42.77
最初のトークンの遅延削減15.91
トークン間遅延の削減19.72

スループットは上昇し、遅延は低下した。個々の計算処理単位である演算子レベルの行列乗算では、同じ基準実装より平均1.73倍速かったと同社は発表した。

画像トークンの事前計算と4ビット演算を活用すれば、オンライン計算とメモリーの負担を減らせる。一方、それを支えるには量子化変換と専用演算、アクセラレーター構造に合わせた並列化が必要だ。モデルの規模だけで性能を得るのではなく、学習と推論のシステムも併せて整えるアプローチだ。

5. 体験とAPIで利用

オンライン体験は https://longcat.chat で提供し、API接続は https://longcat.chat/platform/product で案内している。原文では、認証を済ませた新規登録者に1000万トークン、既存ユーザーに500万トークンを追加提供する期間限定の特典も告知した。

LongCat-2.5の方向性は、画像入力と長期作業を一つのモデルにまとめ、大規模モデルを運用する基盤システムも併せて最適化することにある。