NVIDIA联合IIT Madras发布2.8万亿词元印度语言预训练语料库

OmniTools 10月16日消息，NVIDIA与印度理工学院马德拉斯分校（IIT Madras）及其AI4Bharat实验室合作，正式发布规模达2.8万亿词元的印度语言预训练语料库Nemotron-pretraining-Indic-v1。该语料库覆盖印度宪法规定的22种语言，包含原生文字与罗马化文本两种形式。

该语料库基于15个英文数据子集构建，涵盖网页文本、数学、代码及问答内容。项目通过NeMo Data Designer框架实现翻译、质量评估与定向修复，并保留完整的数据溯源信息。其中，12种语言采用Gemma-4-31B-it模型进行全文翻译与双阶段质量控制，另10种语言则适配Indic Translate模型及定制化长文档处理流程。

作为配套成果，项目同步开源GPU加速的数据生成流水线，支持开发者复用提示词、质量评估标准及修复策略，以适配自有源文档。该语料已应用于Nemotron 3.5 Super VL模型的持续预训练（CPT）阶段，注入100亿印度语言词元（含合成与自然文本）。测试显示，模型在MILU、Indic MMLU-Pro等5项印度语言基准测试中得分平均提升4.98至9.82个百分点。