Verwaltetes NVIDIA Dynamo auf Amazon SageMaker HyperPod Inference
Was passiert ist
Amazon SageMaker HyperPod Inference unterstützt jetzt NVIDIA Dynamo für verteilte Inferenz mit Serving über mehrere Knoten und disaggregiertem Serving, KV-bewusstem Routing und automatischer Fehlerwiederherstellung. Amazon SageMaker HyperPod Inference unterstützt jetzt NVIDIA Dynamo. Damit werden die Fähigkeiten von Dynamo für verteilte Inferenz mit der Infrastrukturverwaltung von HyperPod kombiniert, um diese Herausforderungen zu lösen. NVIDIA ist ein Halbleiterunternehmen mit Sitz in Santa Clara; zu seinen Produkten und Dienstleistungen gehören Grafikprozessoren.
Große Modelle über viele Knoten hinweg bereitstellen, ohne die Orchestrierungsschicht selbst zu bauen. Große Sprachmodelle (LLMs) effizient zu betreiben erfordert ausreichend GPU-Speicher (einen Chip, der für viele Berechnungen gleichzeitig gebaut ist und für Grafik und KI eingesetzt wird) sowie eine sorgfältige Koordination von Prompt-Verarbeitung und Token-Generierung.
Die FP8-Gewichte von GLM-5.3 überschreiten beispielsweise die 640 GB GPU-Speicher einer einzelnen ml.p5.48xlarge-Instanz, noch bevor KV-Cache und Laufzeit-Overhead berücksichtigt werden. Lange Prompts können die Token-Generierung zusätzlich verlangsamen, wenn beide dieselben GPUs nutzen.
Künstliche Intelligenz Große Sprachmodelle (LLMs) effizient zu betreiben erfordert ausreichend GPU-Speicher sowie eine sorgfältige Koordination von Prompt-Verarbeitung und Token-Generierung. Dynamo ist ein Open-Source-Framework für verteilte Inferenz, das Deployment über mehrere Knoten, disaggregiertes Prefill und Decode sowie KV-bewusstes Routing mit Engines wie vLLM, SGLang und TensorRT-LLM unterstützt.
HyperPod unterstützt diese Deployments mit leistungsstarkem Elastic Fabric Adapter (EFA)-Networking, koordinierter GPU-Planung sowie Zustandsüberwachung und Wiederherstellung der Knoten. So funktioniert die Integration: Das HyperPod-Inference-Add-on installiert die Dynamo-Custom-Resource-Definitions sowie diese Komponenten für Serving und Scheduling. Der HyperPod Inference Operator verwaltet das Endpoint-Deployment über eine InferenceEndpointConfig (IEC)-Custom-Resource. Ihr dynamoSpec-Abschnitt liefert die Dynamo-Konfiguration.