NVIDIA가 인도 언어 모델 개발자를 위해 약 2.8조 토큰의 학습용 텍스트와 이를 만드는 공개 절차를 소개했다. 인도 공과대학 마드라스의 언어 연구소와 함께 만든 자료로, 영어의 수학·코드·질의응답 내용을 인도 언어로 옮겨 학습 재료를 늘린다. 공개 예정이며, 게시일과 배포 날짜는 제시되지 않았다.

1. 22개 언어와 두 가지 문자 구성

Nemotron-pretraining-Indic-v1은 인도 헌법에 명시된 22개 언어를 다룬다. 코퍼스는 학습용 텍스트 모음, 토큰은 모델이 글을 나눠 처리하는 단위다. 22개 언어 모두 원어 문자 자료가 있고, 그중 12개에는 라틴 문자로 적은 로마자 자료도 있어 언어·문자 조합은 34개다.

Gemma-4 토크나이저로 센 원어 문자 자료는 2조 6010억 토큰, 로마자 자료는 2246억 토큰이다. 이는 보관된 자료의 양이지 특정 학습 실행의 예산이 아니다. 원어 문자 자료도 영어에서 번역됐으며, 로마자 자료는 채택된 번역 일부의 표기만 바꾼 것이므로 새로운 내용이 추가됐다는 뜻은 아니다.

2. 번역하고 평가한 뒤 필요한 부분을 고친다

출발점은 웹 문서·수학·코드 등을 담은 Nemotron-CC-v2의 15개 하위 집합이다. NeMo Data Designer가 번역과 품질 검사, 부분 수정을 연결하며, 원본 문서 식별자를 보존해 결과를 추적할 수 있게 한다.

12개 언어 절차는 Gemma-4-31B-it로 문서 전체를 번역하고 같은 모델로 평가한다. 의미·유창성·용어·형식 등을 따지는 100점 만점 기준에서 75점 이상만 채택한다. 정확도 75%라는 뜻은 아니며, 미달 결과는 평가 의견으로 고친 뒤 다시 판정한다. 채택된 번역 일부를 라틴 문자로 바꾸고 별도로 검사한다.

나머지 10개 언어는 Bodhan AI의 Indic Translate로 번역하고 같은 75점 기준을 적용하되 피드백 기반 재작성은 하지 않는다. 긴 산탈리어 문서는 겹치는 구간으로 나눠 번역하고 이어 붙이며, 마니푸리어는 벵골 문자로 번역한 뒤 고유 문자로 바꾼다. 이 절차는 원어 문자 자료만 만든다.

3. 성능 향상은 혼합 학습 단계의 결과다

Nemotron 3.5 Super VL은 이 코퍼스의 12개 언어 부분과 현지에서 직접 작성된 텍스트를 섞어 사전학습을 이어 갔다. 전체 예산 1000억 토큰 중 10%인 100억 토큰을 이 혼합물에 배정하고, 나머지 90%는 기존 학습 자료의 상대 비율을 유지했다.

이 단계 직전과 직후를 비교하면 지식·추론 평가 다섯 개에서 4.98~9.82%포인트 올랐다. 예를 들어 12개 언어를 평가한 Indic MMLU-Pro는 51.83점에서 56.81점으로 상승했다. 평가마다 언어 범위가 다르며, 합성 자료만의 기여를 분리한 결과는 아니다.

별도로 최종 모델을 이전 세대인 Nemotron 3 Super와 비교하면 여섯 과제 중 다섯 개는 개선됐지만, 지시 준수 평가인 IFEval 1.5는 2.04%포인트 하락했다. 이 비교에는 후속 학습까지 반영된다.

4. 작은 표본과 고정된 예산으로 시작한다

필요한 언어와 문자를 정하고 데이터셋 설명서와 라이선스를 먼저 확인한다. 아래는 원문 예시 중 저장소와 데이터 분할을 확인하는 부분이다. 구성 값은 데바나가리 문자의 힌디어를 뜻한다.

from datasets import get_dataset_split_names, load_dataset

dataset_id = input("Repository ID from the dataset card: ").strip()
config = "hi-Deva-IN"

splits = get_dataset_split_names(dataset_id, config_name=config)
print("Available splits:", splits)

원문은 전체 다운로드 없이 표본을 읽는 스트리밍과 공개 뒤 데이터 판본 고정을 안내한다. 첫 실험은 토큰 예산을 고정해 혼합 비율을 비교하고 언어별 결과를 기록한다. 학습·평가 자료를 나눌 때는 같은 원문에서 나온 번역과 문자 변형이 양쪽에 섞이지 않도록 고려해야 한다.

5. 생성 자동화가 검증 책임을 없애지는 않는다

공개 생성 도구인 Nemotron Bharat 플러그인으로 자체 문서와 번역 지침을 적용할 수 있다. 기술 내용을 여러 언어로 확장하기 쉬워지는 대신, 생성 후보를 실제 학습 자료로 받아들이는 필터 정책은 사용자가 정해야 한다. 원문은 작은 표본을 원어민과 검토한 뒤 규모를 늘리도록 권한다.

품질 평가는 주로 자동화돼 있고 사람의 표본 검토 범위는 언어마다 다르다. 오류가 남을 수 있으며, 원본 식별자 검사도 처리 중복을 없앨 뿐 의미가 비슷한 문서까지 제거하지는 않는다. 번역 자료는 지역 지식과 문화적 맥락을 담은 현지 작성 텍스트를 대신하지 못한다.

이번 공개의 가치는 자료의 양과 재사용 가능한 생성 절차를 함께 제공하는 데 있으며, 도입 판단은 현지 작성 자료와 섞은 뒤 용도별로 검증한 결과에 달려 있다.