Supermicro, IBM und Nvidia stellen KV-Cache-Plattform für schnellere KI-Inferenz vor

Was passiert ist

Am 5. November 2026 kündigten die drei Unternehmen eine gemeinsame Key-Value-(KV-)Cache-Plattform an, die für KI-Inferenz im großen Maßstab entwickelt wurde. NVIDIA ist ein Halbleiterunternehmen mit Sitz in Santa Clara, dessen Produkte und Dienstleistungen unter anderem Grafikprozessoren und Software umfassen. IBM ist ein Software- und IT-Beratungsunternehmen mit Sitz in Armonk.

Die Zusammenarbeit steigert die Effizienz von KI, senkt Rechenkosten und Latenz (die Verzögerung zwischen Anfrage und Antwort) und könnte so die Einführung von KI in komplexen Anwendungen beschleunigen. Ziel ist es, dass GPUs (ein Chip, der viele Berechnungen gleichzeitig ausführt und für Grafik und KI genutzt wird) bereits verarbeiteten Kontext nicht erneut berechnen müssen.

Benchmarks aus einer validierten Referenzarchitektur zeigen Beschleunigungen der Zeit bis zum ersten Token um bis zu 56x bei Kontexten von bis zu 130.000 Token. Was die drei Unternehmen tatsächlich entwickelt haben: Liest ein Modell einen Prompt, baut es eine interne Aufzeichnung dieses Kontexts auf, den sogenannten KV-Cache.

Wird der Cache aus dem Speicher verdrängt, muss die GPU ihn bei der nächsten Runde von Grund auf neu aufbauen. Dieses Neuaufbauen wird als Neuberechnung bezeichnet und verbraucht teure GPU-Zyklen.

Die neue Plattform ist darauf ausgelegt, diese Aufzeichnung verfügbar zu halten. Sie kombiniert vier Hardware- und Softwarekomponenten: Supermicros Petascale-Speicherserver bilden die physische Speicherebene.

Fügen Sie Ihre Bestände hinzu, um verwandte Artikel in Pro zu finden.