Salesforce verteilt KI-Anfragen per Cross-Region-Routing über verteilte Kapazität

Salesforce hat, bestätigt vom Unternehmen selbst, dargelegt, wie es den Cross-Region-Inferenz-Router in Amazon SageMaker AI nutzt, um seine Modelle in mehr als 30 globalen Regionen verfügbar zu halten. Der Router erlaubt dem Konzern, auf Kapazität zuzugreifen, die bislang zwischen Regionen aufgeteilt war.
Kapazität auf Regionen verteilt
Das Agentforce-Foundation-Team von Salesforce stellt Modelle für Produkte wie Agentforce und den Salesforce Trust Layer bereit, darunter intern trainierte und Open-Source-Modelle. Anfragen werden in der Region beantwortet, aus der sie stammen, verteilt auf mehr als 30 globale Regionen und hunderte AWS-Konten; die Kapazität richtet sich nach dem Datenverkehr jedes Kunden.
Die Spitzenzeiten der Kunden überschneiden sich häufig, und eine Auslegung auf die gemeinsame Spitze wäre zu teuer. Neue Geschäftseinheiten werden zudem kurzfristig angebunden, weshalb die Flotte schnell wachsen muss. Wird Kapazität Region für Region ergänzt, stehen manche Regionen mit ungenutzten Instanzen da, während anderswo die Ressourcen knapp werden, und ein Engpass wird dann zum Verfügbarkeitsproblem.
Grenzen des bisherigen Gateway-Pfads
Vor dem Router leitete Salesforce über sein Internal Gateway Datenverkehr, den lokale Endpunkte nicht bewältigten, an andere Regionen weiter. Das Team hatte diesen Pfad mit einfachen Zustandsprüfungen, Wiederholungsversuchen und Logik für den Regionswechsel selbst gebaut und betrieben.
Der Beitrag nennt zwei Schwächen. Das Gateway erhielt weder von lokalen noch von entfernten Endpunkten Kapazitätssignale und konnte daher nicht beurteilen, wann es Verkehr verlagern sollte oder ob ein Ziel Reserven hatte. Zudem musste regionenübergreifender Verkehr die Virtual Private Cloud über ein NAT-Gateway und ein Internet-Gateway verlassen und das öffentliche AWS-Netz nutzen. In Designbesprechungen wurde das Risiko kaskadierender Ausfälle angesprochen, da eine Verlagerung während eines Vorfalls die nächste Region überlasten kann; das Team hielt deshalb eine Begrenzung des regionenübergreifenden Verkehrs für nötig. Diese Logik in jede Anwendung einzeln einzubauen, würde im Unternehmen nicht skalieren.
So lenkt der Router Anfragen
Der Inferenz-Router ist eine regionale SageMaker-AI-Ressource im eigenen Konto des Kunden. Anwendungen rufen statt eines Endpunkts den Router auf, nennen ein Routing-Ziel und senden dieselbe Anfrage mit dem Inhaltstyp, den sie heute an InvokeEndpoint übergeben. Ein Routing-Ziel ist ein Name für ein logisches Modell und führt die Endpunkte und Inferenzkomponenten auf, die es bedienen dürfen, jeweils über ihren vollständigen Amazon Resource Name.
Jeder Router führt für jedes Modell ein eigenes Routing-Ziel, sodass Störungen bei den Endpunkten eines Modells den Verkehr der anderen nicht verschieben. Ein Routing-Ziel kann Einzelmodell-Endpunkte und Inferenzkomponenten kombinieren; da Ziele über ihren ARN bestimmt werden, können sie in einer anderen Region oder einem anderen AWS-Konto liegen. Das besitzende Konto gewährt den Zugriff über eine ressourcenbasierte Endpunktrichtlinie, so betreibt Salesforce es. Der Router bevorzugt die eigene Region und behält Anfragen dort, solange das lokale Ziel erfolgreich antwortet.
Offene Fragen
- Welche Ergebnisse hat Salesforce nach dem produktiven Einsatz des Routers beobachtet?