英伟达发布2.8万亿词元印地语系预训练语料库及开放流水线

事件经过

英伟达与印度理工学院马德拉斯分校及其AI4Bharat实验室合作，于2026年10月16日推出了Nemotron-pretraining-Indic-v1，这是一个约2.8万亿词元的合成预训练语料库，涵盖22种印度语言，即将发布。同时推出的还有用于生成该语料库的开放、GPU加速数据生成流水线。GPU（一种专为同时进行大量计算而设计的芯片，用于图形处理和AI）加速的该流水线完整记录了生成方案，包括提示词、LLM（一种基于文本训练、用于生成文本的AI系统）工作流程和质量检查，使开发者能够将其应用于自己的源材料。英伟达是一家总部位于圣克拉拉的半导体公司，其产品和服务包括图形处理器。

这22种语言均为印度宪法所列语言。公告称，这些语言是97%印度人的母语，在2011年人口普查中涉及近12亿公民。该文章的作者包括AI4Bharat研究人员Mohammed Safi Ur Rahman Khan、Mitesh Khapra和Anoop Kunchukuttan，以及英伟达的Niket Agarwal、Raviraj Joshi、Anusha Kamath、Markus Kliegl、Yev Meyer、Sriharsha Niverty、Kiran Praveen和Utkarsh Vaidya。

英伟达表示，每条记录都可追溯至经过筛选的源文档，且每个输出都会与其输入进行核对。语料组成与语言覆盖范围方面，该语料库包含2601.0亿个原生文字词元和224.6亿个罗马化词元，均使用Gemma-4分词器统计。在34种语言-文字配置中，该语料库为全部22种语言提供原生文字数据，并为其中12种语言提供罗马化文本。

关键事实

• 英伟达与印度理工学院马德拉斯分校及其AI4Bharat实验室合作，于2026年10月16日推出了Nemotron-pretraining-Indic-v1，这是一个约2.8万亿词元的合成预训练语料库，涵盖22种印度语言，即将发布，同时推出了用于生成该语料库的开放、GPU加速数据生成流水线。
• 语料组成方面，该语料库包含2601.0亿个原生文字词元和224.6亿个罗马化词元，均使用Gemma-4分词器统计。
• 在34种语言-文字配置中，该语料库为全部22种语言提供原生文字数据，并为其中12种语言提供罗马化文本。