AWS erweitert SageMaker HyperPod um Global Inference Gateway für Routing über Cluster hinweg

Amazon Web Services hat das Global Inference Gateway für Amazon SageMaker HyperPod vorgestellt, einen zentralen verwalteten Endpunkt, der Inferenzanfragen an HyperPod-Cluster innerhalb einer AWS-Region oder über mehrere Regionen verteilt.
Was das Gateway übernimmt
Das Global Inference Gateway stellt Kunden einen verwalteten Endpunkt vor allen HyperPod-Clustern bereit, die sie registrieren. Für jede Anfrage wählt es einen Cluster aus und leitet sie über das AWS-Backbone weiter, wobei automatisches Failover sowie die Authentifizierung über AWS Signature Version 4 (SigV4) und AWS Identity and Access Management (IAM) erfolgen. Innerhalb jedes Clusters wählt weiterhin das bestehende Inference Gateway den Model-Pod aus.
AWS nennt als Zielgruppe Kapazität, die sich über Cluster und Regionen verteilt. Große Modelle sind schwieriger zu betreiben, und GPU-Kapazität ist schwerer zu sichern; Kunden verteilen sie daher oft auf mehr Cluster und Regionen. Die Routing-Arbeit, die dabei entsteht, soll das Gateway übernehmen.
Warum verteilte Kapazität zum Problem wird
Im Beispiel von AWS betreibt ein Team vier Modelle auf fünf HyperPod-Clustern in zwei Regionen. Ohne das neue Gateway müssten Clients 20 Endpunkte verfolgen, je einen pro Modell und Cluster. Das Inference Gateway senkt diese Zahl auf fünf, einen pro Cluster, doch jeder Client muss weiterhin selbst einen Cluster wählen.
Laut AWS hat diese Anordnung Folgen. Bei einer Lastspitze kann eine Anfrage in der Warteschlange eines ausgelasteten Clusters warten, während GPUs in einem anderen Cluster, mitunter in einer anderen Region, ungenutzt bleiben. Fällt ein Cluster aus, muss ein Ingenieur die Konfiguration ändern, um den Datenverkehr davon wegzuleiten. Die Verteilung über Regionen erfordert derzeit eigene Load Balancer, DNS und regionsübergreifende Netzwerktechnik.
Einrichtung und Weg einer Anfrage
Die Einrichtung erfordert zwei Entscheidungen: welche Cluster für das Routing freigegeben und welche davon hinter einem Gateway gebündelt werden. Ein Cluster ist erst nach seiner Veröffentlichung erreichbar. Dabei entstehen ein Network Load Balancer vor dem Inference Gateway des Clusters, ein VPC-Endpunkt-Service auf diesem Balancer, und das Zertifikat des Listeners wird im TLS-Bucket des Kunden abgelegt. Wird ein nicht veröffentlichter Cluster in ein Gateway aufgenommen, bricht der Aufruf mit einer Meldung ab, die die Abhilfe erklärt.
AWS beschreibt den Weg einer Anfrage: Der Client signiert sie mit SigV4 und sendet sie an den regionalen Endpunkt des Gateways. Das Gateway wählt einen Cluster, AWS PrivateLink transportiert die Anfrage zu diesem Cluster in derselben oder einer anderen Region, und dessen Inference Gateway reicht sie an einen Model-Pod weiter. Jeder Cluster meldet seine Auslastung an das Gateway zurück. Kunden legen fest, welche Cluster sie veröffentlichen, wie sie gruppieren und wie sie das Routing gewichten, während AWS die Routing-Flotte betreibt.
Sicht eines Kunden
AWS zitiert Jinhyung Park, VP (AI Platform) bei Bagelcode, zum Nutzen des Dienstes. Die Ankündigung nennt drei Hauptvorteile: Anfragen laufen bei Spitzen auf Cluster mit freier Kapazität über, Clients nutzen einen einzigen Endpunkt, und jede Anfrage wird mit SigV4 und IAM authentifiziert, wobei die Cluster nur über AWS PrivateLink erreicht werden.
Offene Fragen
- Wie viel zusätzliche Latenz verursacht das Routing über Regionen im Vergleich zu einem einzelnen Cluster?
- Welche Kosten fallen für das Gateway zusätzlich zu den zugrunde liegenden HyperPod-Clustern und dem Datentransfer an?