NVIDIAがインド言語モデルの開発者向けに、約2.8兆トークンの学習用テキストと、それを作る公開の手順を紹介した。インド工科大学マドラス校の言語研究所と共同で作ったデータで、英語の数学・コード・質疑応答の内容をインドの言語に翻訳し、学習素材を増やす。公開予定で、投稿日と配布日は示されていない。

1. 22言語と2種類の文字構成

Nemotron-pretraining-Indic-v1は、インド憲法に明記された22言語を扱う。コーパスは学習用テキストの集合、トークンはモデルが文章を分割して処理する単位だ。22言語すべてに本来の文字で記したデータがあり、そのうち12言語にはラテン文字によるローマ字表記データもあるため、言語と文字の組み合わせは34通りとなる。

Gemma-4トークナイザーで数えた本来の文字のデータは2兆6010億トークン、ローマ字表記データは2246億トークンだ。これは保存されたデータ量であり、特定の学習実行の予算ではない。本来の文字のデータも英語から翻訳されており、ローマ字表記データは採用された翻訳の一部の表記だけを変えたものなので、新たな内容が加わったわけではない。

2. 翻訳・評価の後に必要な部分を修正する

出発点は、ウェブ文書・数学・コードなどを含むNemotron-CC-v2の15個のサブセットだ。NeMo Data Designerが翻訳、品質検査、部分修正をつなぎ、元の文書の識別子を保持して結果を追跡できるようにする。

12言語の処理では、Gemma-4-31B-itで文書全体を翻訳し、同じモデルで評価する。意味・流暢さ・用語・形式などを審査する100点満点の基準で、75点以上のみを採用する。正確度75%という意味ではなく、基準未達の結果は評価コメントを基に修正し、再判定する。採用された翻訳の一部はラテン文字に変換し、別途検査する。

残りの10言語はBodhan AIのIndic Translateで翻訳し、同じ75点の基準を適用するが、フィードバックに基づく書き直しは行わない。長いサンタル語文書は重複区間を設けて分割し、翻訳後につなぎ合わせる。マニプリ語はベンガル文字で翻訳した後、固有の文字に変換する。この手順では本来の文字のデータのみを作る。

3. 性能向上は混合学習段階の結果

Nemotron 3.5 Super VLは、このコーパスの12言語分と現地で直接書かれたテキストを混ぜて事前学習を継続した。総予算1000億トークンのうち10%に当たる100億トークンをこの混合データに割り当て、残りの90%は既存の学習データの相対比率を維持した。

この段階の直前と直後を比べると、知識・推論の5つの評価で4.98~9.82%ポイント上昇した。例えば、12言語を評価したIndic MMLU-Proは51.83点から56.81点に上昇した。評価ごとに言語の範囲は異なり、合成データ単独の寄与を切り分けた結果ではない。

別途、最終モデルを前世代のNemotron 3 Superと比較すると、6課題中5つは改善したが、指示遵守の評価であるIFEval 1.5は2.04%ポイント低下した。この比較には後続の学習も反映されている。

4. 小さなサンプルと固定予算から始める

必要な言語と文字を決め、まずデータセットの説明書とライセンスを確認する。以下は原文の例のうち、リポジトリとデータ分割を確認する部分だ。構成値はデーヴァナーガリー文字のヒンディー語を意味する。

from datasets import get_dataset_split_names, load_dataset

dataset_id = input("Repository ID from the dataset card: ").strip()
config = "hi-Deva-IN"

splits = get_dataset_split_names(dataset_id, config_name=config)
print("Available splits:", splits)

原文は、全体をダウンロードせずにサンプルを読むストリーミングと、公開後のデータの版の固定を案内している。最初の実験ではトークン予算を固定して混合比率を比較し、言語別の結果を記録する。学習・評価データを分ける際は、同じ原文から派生した翻訳と文字変換版が両方に混入しないよう考慮する必要がある。

5. 生成の自動化で検証責任がなくなるわけではない

公開の生成ツールであるNemotron Bharatプラグインで、独自の文書と翻訳指針を適用できる。技術的な内容を多言語に展開しやすくなる一方、生成候補を実際の学習データとして受け入れるフィルター方針は利用者が決める必要がある。原文は、小さなサンプルを母語話者と確認してから規模を拡大するよう勧めている。

品質評価は主に自動化されており、人によるサンプル確認の範囲は言語ごとに異なる。誤りが残る可能性があり、元の識別子の検査も処理の重複をなくすだけで、意味が似た文書まで除去するわけではない。翻訳データは、地域の知識や文化的な文脈を含む現地で書かれたテキストの代わりにはならない。

今回の公開の価値は、データ量と再利用可能な生成手順を併せて提供する点にあり、導入の判断は現地で書かれたデータと混ぜたうえで用途別に検証した結果にかかっている。