NVIDIA stellt Indic-Pretraining-Korpus mit 2,8 Billionen Token und offener Pipeline vor

Was passiert ist

NVIDIA hat gemeinsam mit dem IIT Madras und dessen AI4Bharat-Labor am 16. Oktober 2026 Nemotron-pretraining-Indic-v1 vorgestellt, einen synthetischen Pretraining-Korpus mit rund 2,8 Billionen Token in 22 indischen Sprachen, der in Kürze veröffentlicht wird. Zusammen mit dem Korpus stellt das Unternehmen auch die offene, GPU-beschleunigte Pipeline zur Datengenerierung bereit, mit der er erstellt wurde. Die GPU (ein Chip, der viele Berechnungen gleichzeitig ausführt, ursprünglich für Grafik und heute auch für KI genutzt) beschleunigt dabei die Verarbeitung. Die Pipeline erfasst das vollständige Generierungsrezept, einschließlich Prompts, LLM-Workflows (KI-Systeme, die auf Text trainiert werden und Text erzeugen) und Qualitätsprüfungen, sodass Entwickler sie an eigenes Quellmaterial anpassen können. NVIDIA ist ein Halbleiterunternehmen mit Sitz in Santa Clara, dessen Produkte und Dienste unter anderem Grafikprozessoren umfassen.

Bei den 22 Sprachen handelt es sich um die in der indischen Verfassung aufgeführten Sprachen, die laut Ankündigung für 97 Prozent der Inder, also fast 1,2 Milliarden Bürger laut Volkszählung 2011, die Erstsprache sind. Zu den Autoren des Beitrags gehören die AI4Bharat-Forscher Mohammed Safi Ur Rahman Khan, Mitesh Khapra und Anoop Kunchukuttan sowie die NVIDIA-Mitarbeiter Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen und Utkarsh Vaidya.

NVIDIA erklärt, dass jeder Datensatz auf ein kuratiertes Quelldokument zurückverfolgt werden kann und jede Ausgabe mit ihrer Eingabe abgeglichen wird. Der Korpus umfasst 2.601,0 Milliarden Token in den jeweiligen Schriftsystemen und 224,6 Milliarden romanisierte Token, gezählt mit dem Gemma-4-Tokenizer. Über 34 Sprach-Schrift-Kombinationen hinweg bietet der Korpus Daten in den jeweiligen Schriftsystemen für alle 22 Sprachen und romanisierten Text für zwölf.

Wichtige Fakten

• NVIDIA hat zusammen mit dem IIT Madras und dessen AI4Bharat-Labor am 16. Oktober 2026 Nemotron-pretraining-Indic-v1 vorgestellt, einen synthetischen Pretraining-Korpus mit rund 2,8 Billionen Token in 22 indischen Sprachen, der in Kürze veröffentlicht wird, zusammen mit der offenen, GPU-beschleunigten Pipeline zur Datengenerierung, mit der er erstellt wurde.
• Der Korpus umfasst 2.601,0 Milliarden Token in den jeweiligen Schriftsystemen und 224,6 Milliarden romanisierte Token, gezählt mit dem Gemma-4-Tokenizer.
• Über 34 Sprach-Schrift-Kombinationen hinweg bietet der Korpus Daten in den jeweiligen Schriftsystemen für alle 22 Sprachen und romanisierten Text für zwölf.