Google veröffentlicht TPU Sync: Open-Source-Bibliothek für KV-Cache-Transfer auf TPUs

Was passiert ist

Google hat TPU Sync veröffentlicht, eine quelloffene C++-Bibliothek, die KV-Caches und Gewichte zwischen TPU-HBM (direkt neben einem Prozessor angeordneter Speicher, der ihn schneller mit Daten versorgt), Host-DRAM, Speicher und Netzwerk verschiebt. Google ist ein Internet- und Softwareunternehmen mit Sitz in Mountain View.

Google Cloud hat TPU Sync veröffentlicht, eine quelloffene C++-Bibliothek zum Verschieben von KV-Caches und Modellgewichten auf Cloud TPUs. Getestet wurde mit MoE-Modellen von 235B bis 480B.

Google meldet eine um über 90 Prozent geringere Latenz beim KV-Transfer (die Verzögerung zwischen einer Anfrage und dem Erhalt des Ergebnisses) bei MoE-Modellen von 235B bis 480B. Die KV-Cache-Transferbibliothek von Google TPU Sync behandelt TPU-HBM, Host-DRAM, gemeinsam genutzten Speicher und das Netzwerk des Rechenzentrums (ein Gebäude voller Computer, das Online-Dienste betreibt) als eine einzige Speicherhierarchie.

Sie zielt auf einen wachsenden Engpass ab: das Verschieben des Modellzustands statt dessen Berechnung. Google meldet eine um über 90 Prozent geringere Latenz beim KV-Transfer bei MoE-Modellen mit 235B bis 480B Parametern.

Kurz zusammengefasst: Bibliothek mit nativem C++-Kern und Python-Wheels für PyTorch und JAX. Lauffähig auf Cloud TPU v7x (Ironwood) und v6e laut README.

Die Benchmarks nutzten TPU v7x (2x2x1), PCIe Gen5 und 200-Gbps-NICs. Leistung: deutliche Senkungen der KV-Transferlatenz und der Zeit bis zum ersten Token (TTFT) in den internen Labortests von Google.