WORLDTECHGoogle stellt TorchTPU vor und lockert Nvidias Vorherrschaft bei KI-Rechenleistung
Google hat TorchTPU vorgestellt, eine spezialisierte Variante des quelloffenen Frameworks PyTorch, die den Vorteil der Grafikprozessoren von Nvidia in der KI-Berechnung aufweichen soll. Laut SiliconANGLE zielt die Veröffentlichung auf einen zentralen Grund, warum Nvidia so dominant geblieben ist.
Was TorchTPU Entwicklern bietet
TorchTPU ist eine alternative Fassung von PyTorch, die es Entwicklern leichter macht, Modelle und Anwendungen zu erstellen, die auf Googles Tensor Processing Units laufen. Diese Chips sind für KI-Aufgaben ausgelegt. Bereits gebaute Anwendungen und Modelle lassen sich mit wenigen Konfigurationsänderungen auf TPUs verlagern, ohne dass der zugrunde liegende Code angefasst wird.
Warum Nvidias Stellung schwer zu verschieben ist
Die GPUs von Nvidia bleiben vor allem deshalb dominant, weil der Großteil der KI-Anwendungen gezielt für sie geschrieben wurde. PyTorch, ein weit verbreitetes quelloffenes Werkzeug zum Erstellen, Trainieren und Ausführen von KI-Modellen und neuronalen Netzen, steht im Zentrum dieser Softwarebasis. Laut einigen im Bericht angeführten Quellen entstehen mehr als 85 Prozent aller KI-Anwendungen mit PyTorch, das Meta Platforms 2016 mit Blick auf Nvidias Chips entwickelte.
Nvidias Vorrangstellung bestand fort, nachdem Meta PyTorch 2022 quelloffen machte und die Pflege an die gemeinnützige Linux Foundation übergab. TorchTPU ist Googles Versuch, diese Abhängigkeit zu lockern.
Amazon und Google gehen parallele Wege
Google ist nicht das einzige Unternehmen, das gegen diese Ordnung vorgeht. Erst in dieser Woche kündigte Amazon Web Services eine eigene PyTorch-Variante an, TorchNeuron, die ebenfalls das Ausführen von KI-Anwendungen auf Amazons Trainium-Chips vereinfacht. Amazon erklärte zudem, Code zum ursprünglichen PyTorch-Projekt beigesteuert zu haben, der mehrere zentrale Funktionen von Nvidias GPUs entkoppelt.
Google ging diesen Weg nicht, dem Bericht zufolge könnte das Unternehmen aber auf andere Weise an Boden gewonnen haben. Es arbeitete nach eigenen Angaben eng mit Meta, Hugging Face sowie den Start-ups Inferact Inc. und RadixArk Inc. zusammen, den Entwicklern von vLLM und SGLang, um TorchTPU-Funktionen und Code-Bibliotheken mit deren Entwicklerwerkzeugen kompatibel zu machen.
Offene Fragen
- Wie viel der KI-Softwarebasis tatsächlich von Nvidia-GPUs auf TPUs umziehen wird?
- Wie werden sich TorchNeuron und TorchTPU für Entwickler in der Leistung vergleichen?