Buoyant veröffentlicht Kinference: Open-Source-Steuerungsebene für Inferenz auf Kubernetes und vLLM

Was passiert ist

Buoyant hat Kinference veröffentlicht, eine Apache-2.0-lizenzierte Inferenz-Steuerungsebene für vLLM auf Kubernetes (Software, die Anwendungen über viele Server hinweg ausführt und verwaltet). Sie bringt deklarative Routing-Richtlinien, KV-Cache-bewusstes Lastverteilen und Metriken pro Mandant mit und senkte in Buoyants eigenem Benchmark die mediane TTFT um 95 %.

Buoyant, das Unternehmen hinter Linkerd, hat Kinference veröffentlicht, ein Open-Source-Projekt (öffentlich zugänglich, sodass jeder den Code lesen, nutzen und verändern kann) zum Aufbau von Inferenzplattformen auf Kubernetes. Es sitzt vor einer Flotte von vLLM-Workern und entscheidet, wohin jede Anfrage geht.

Die Lösung wendet Routing-Richtlinien, Token-Ratenbegrenzungen, KV-Cache-bewusstes Lastverteilen und Metriken pro Mandant in einer einzigen Schicht an. Für Entwicklungsteams, die viele Open-Weight-Modelle (Modelle, deren trainierte Parameter jeder herunterladen kann) für viele interne Clients bereitstellen, zielt sie auf die Ebene oberhalb des Modellservers.

Das Projekt ist auf GitHub unter Apache-2.0-Lizenz verfügbar. TL;DR Version: v0.1.0-alpha.7, geschrieben in Rust, Apache 2.0, konfiguriert über 5 Kubernetes CRDs.

Läuft auf: jedem GPU-fähigen Kubernetes-Cluster mit vLLM. Buoyants Benchmark nutzte 3 L40S-GPUs pro Pool.

Leistung: deutliche Gewinne bei präfixlastigem Datenverkehr gegenüber reinem Kubernetes-Service-Routing (Selbstangabe des Herstellers). Schwächer: kein Gewinn bei der medianen TTFT für Prompts ohne gemeinsame Präfixe (6,92 s gegenüber 6,83 s).