SenseNovaが11月17日、画像とテキストを入力して文章を生成する約90億パラメータのモデルを公開した。中間層の重み、つまり学習で決まるモデル内部の数値を再利用し、計算の深さを増す構造だ。開発者は長文脈・コーディング・ツール使用の課題に活用でき、4ビット重みの構成で展開時のメモリも調整できる。
1. 同じ層を再利用して計算の深さを拡張
モデルは異なるデコーダ層、つまり入力を結果に変換する計算段階を32個保存し、そのうち中間の24層を2回実行する。同社の説明では、入力を1回処理する際の層計算は56回となる。新たな層を積み重ねる代わりに、同じ処理区間を再び通過して計算を深める方式だ。
入力はテキストと画像で、出力はテキストだ。モデルカードは最大512Kトークンの文脈に対応すると説明し、学習にはコードやツール使用の過程も含まれるとしている。そのため、汎用対話だけでなく、コーディング、エージェント、データ分析の課題も対象とする。
2. 同社発表のベンチマーク、性能を同じ基準で測る試験と循環回数の実験
同社発表によると、正式版はプレビュー版に比べ、AutomationBenchが14.33から36.67に、Terminal-Bench 2.1が40.45から59.55に向上した。同社はエージェント・コーディング・データ分析課題の改善を正式版の主な変更点としている。
同社発表によると、GAIAは37.86から69.90に、BIRDは71.38から72.34に向上した。後者の上昇幅は0.96%ポイントだ。
同社発表のQwen3.8-27Bとの比較では、AutomationBenchは両者とも36.67だ。
同じ競合モデルと比較した同社発表によると、AIDABenchは正式版65.31に対し相手が65.01、NL2Repoは41.36に対し44.60だ。課題によって優劣が分かれるため、導入先の作業に合わせて比較する理由がある。
循環回数の実験は、1回計算する構成を基準とし、学習データとその他の設定を固定した。同社発表によると、AIDABench-QAとWorkbuddy-officeは3回反復したとき、基準よりそれぞれ6.42%、16.93%高かった。
同社発表によると、LiveCodeBench V6とAIDABenchのデータ可視化は、4回反復したとき基準よりそれぞれ8.10%、8.55%高かった。2回から4回に増やした際の追加上昇は、それぞれ1.04%ポイントと1.35%ポイントだった。課題別の最高点は3回と4回に分かれ、反復計算の効果も作業によって異なった。
3. メモリ削減と追加計算のトレードオフ
同社発表によると、重みを低精度で保存する4ビット量子化、つまり数値を少ないビット数で保存する方式では、重みは約4.9 GBとなる。公式の4ビット量子化版も公開当日から提供する。以下は4ビット重みと8ビットKVキャッシュ、つまり中間計算値を保存して再利用するメモリを使う場合の、文脈長別の最小GPUメモリ推定値だ。
表:文脈長に応じた最小GPUメモリの推定
条件:4ビット重み、8ビットKVキャッシュ、同社モデルカードの推定値
単位:GiB、すべての値は概算
| 文脈長 | 最小GPUメモリ |
|---|---|
| 64K | 10 |
| 128K | 12 |
| 256K | 15 |
同社発表によると、KVキャッシュを4ビットに下げると、同じ文脈長の順に約9、10、12 GiBが必要となる。重みを小さく保存しても、長い入力を処理するメモリは別途確保する必要がある。
循環構造の利点は保存する重みを再利用する点にあり、その代償は同じ中間層を反復計算する点にある。同社は推論効率を考慮し、プレビュー版と正式版の既定の循環回数を2回に設定した。
4. インストールと展開に必要な条件
モデルカードで確認されたプレビュー版の環境は、Transformers 5.18.0とPyTorch 2.11.0を使用する。
この環境のCUDAバージョンは13.0だ。まず、これに互換性のある学習フレームワークのビルドをインストールするよう案内している。
モデルを読み込む際は、リポジトリのカスタム実装コードを実行するよう設定する。その他の依存関係のインストール例は次のとおりだ。
python -m pip install "transformers==5.18.0" accelerate safetensorsLightLLMにはGPUを4個使う展開例がある。SGLangは実装を含む変更提案47281のバージョンを案内している。
vLLMは変更提案64832のバージョンを案内している。モデルカードによると、これらの展開コマンドはプレビュー版の例から引用したもので、正式版のパスに変更して使用し、正式版のエンジンのバージョンと設定は追加更新する予定だという。
重みの取得にはログインと利用条件への同意が必要だ。プロジェクトのライセンスはApache 2.0だ。
5. 課題に応じた活用の判断
同社は、複雑なツール定義や複数の制約を伴う指示では要件を見落とす可能性があり、コーディングや汎用エージェント課題の性能が安定しない場合があると明らかにした。複雑な3次元シーンやアニメーションを含むウェブ制作では、何度も修正が必要になる場合もある。
このモデルを選ぶ基準は、パラメータ数の少なさだけでなく、反復計算で得られる課題別の性能と長文脈のメモリコストを併せて許容できるかどうかだ。
