NVIDIAは長い文書と画像・動画を併せて扱い、次に書く内容を先に予測するモデルを公開した。文書分析やコーディング支援サービスを作る開発者は学習用とデプロイ用の重みを選べるが、長い入力を受け付ける能力と生成速度は分けて見る必要がある。
1. 精度ではなく用途から選ぶ
公開されたのはNVIDIA Nemotron 3.5 Super VL 120B-A12Bだ。3つのモデルカードに記された公開日は2026年10月15日で、商用・非商用の利用はOpenMDW 1.1ライセンスに従う。
BF16はカスタム学習と基準評価用の重みだ。NVFP4は数値表現の精度を下げる量子化によって、メモリ要件を抑えたデプロイ版だ。
Base-BF16は独自の事後学習の出発点となる。ベースモデルのカードも、チャット・推論・ツール呼び出しには事後学習済みのデプロイ版を使うよう案内している。したがって、3つの公開版を単なる精度の3段階と捉えてはいけない。
2. 文脈の長さと計算規模は異なる
モデルはMamba-2とアテンション、必要なエキスパートの部分ネットワークだけを選んで計算するMoEを組み合わせ、視覚入力の処理部を接続した構造だ。総パラメータ数は1200億個だが、計算時に有効になるのは120億個とされている。
最大文脈長は100万トークンだ。トークンはモデルが処理する入出力の断片で、質問・視覚入力・会話履歴・ツールの結果・生成回答が1つのウィンドウを共有する。文書でウィンドウを埋めると、回答に使える枠も減ることになる。
この長さはモデルの上限であり、デプロイ設定での保証ではない。カードによると、メモリや同時処理量の都合でウィンドウを縮める場合があり、実際にDGX Spark向けの設定例の1つは131,072トークンを使う。
3. 先読み機能と速度の保証は異なる
複数トークン予測のMTPは、後に続くトークンを再帰的に予測する。これを活用した投機的デコーディングは、回答の下書きを先に作って検証する方式と理解できる。
vLLMとSGLangの内蔵予測機能を使うデプロイ例では、別のドラフトモデルをダウンロードする必要がない。
ただしDGX Sparkでは、別のドラフトモデルであるLiLiCorrの利用を推奨している。
投機的デコーディングによる具体的な速度向上の数値は示されていない。カードは、機器・リクエストの長さ・同時処理量によって性能が変わると説明する。通常の生成と比較する際は、モデル・タスク・サンプリング・その他のサーバー設定を固定し、投機的デコーディングの設定だけを除くよう案内している。
4. 入力と出力の予算を併せて決める
入力仕様はテキスト・画像・最大2分の動画で、出力はテキストだ。文書はページ画像とテキストとして入力できる。動画の例では毎秒2フレーム、最大256フレームを抽出し、1080p動画には毎秒1フレーム、最大128フレームを案内している。
推論過程の生成は、チャットテンプレートのenable_thinkingで切り替える。推論トークンと最終回答はmax_tokensの予算を共有するため、回答の長さだけで予算を決めると不足する可能性がある。
カードに記載されたサーバー起動手順を終えたら、次の原文のコマンドでAPIが応答するか確認する。これはモデル一覧の確認であり、実際のタスクの品質評価ではない。
curl --fail http://localhost:8000/v1/models5. 機器削減にはタスク別の品質検証が伴う
基準版のデプロイ表はH100を4台使う構成を、量子化版は同系列の機器を2台使う構成を示している。これはデプロイの選択肢の違いであり、同じスループットを保証する比較ではない。
量子化版のカードの評価では、重み以外の設定・評価ツール・パラメータを固定した。基準版から量子化版に変えると、Terminal-Bench 2.1は66.70から60.80に、DeepSWEオフラインは24.65から18.2に下がった。
同じ条件でGPQA-Diamondは89.52から89.90に上がり、AA-Omniscienceのハルシネーション率は30.0から27.7に下がった。メモリ負担を減らす利点の一方で、タスクごとの品質変化を検証する負担が生じるため、一律に性能が維持されるとは解釈しにくい。
一部の視覚評価には、公開評価ツールにまだ統合されていない項目がある。カードは、これらに公式実装や今後公開する内部評価ツールを使ったと明記し、再現方法にも違いがあることを示している。
今回の公開モデルを選ぶ基準は、最大文脈長だけでなく、学習の目的、実際のデプロイ条件、タスク別の品質を併せて適合させることにある。