WORLDTECH NEWS Globale Technologie-Nachrichten.Kontakt

Verwaltetes NVIDIA Dynamo auf Amazon SageMaker HyperPod Inference

Wide angle view of a warehouse with stocked shelves and boxes.
Symbolbild.Photo by Tiger Lily on Pexels

Was passiert ist

Amazon SageMaker HyperPod Inference unterstützt jetzt NVIDIA Dynamo für verteilte Inferenz mit Serving über mehrere Knoten und disaggregiertem Serving, KV-bewusstem Routing und automatischer Fehlerwiederherstellung. Amazon SageMaker HyperPod Inference unterstützt jetzt NVIDIA Dynamo. Damit werden die Fähigkeiten von Dynamo für verteilte Inferenz mit der Infrastrukturverwaltung von HyperPod kombiniert, um diese Herausforderungen zu lösen. NVIDIA ist ein Halbleiterunternehmen mit Sitz in Santa Clara; zu seinen Produkten und Dienstleistungen gehören Grafikprozessoren.

Große Modelle über viele Knoten hinweg bereitstellen, ohne die Orchestrierungsschicht selbst zu bauen. Große Sprachmodelle (LLMs) effizient zu betreiben erfordert ausreichend GPU-Speicher (einen Chip, der für viele Berechnungen gleichzeitig gebaut ist und für Grafik und KI eingesetzt wird) sowie eine sorgfältige Koordination von Prompt-Verarbeitung und Token-Generierung.

Die FP8-Gewichte von GLM-5.3 überschreiten beispielsweise die 640 GB GPU-Speicher einer einzelnen ml.p5.48xlarge-Instanz, noch bevor KV-Cache und Laufzeit-Overhead berücksichtigt werden. Lange Prompts können die Token-Generierung zusätzlich verlangsamen, wenn beide dieselben GPUs nutzen.

Künstliche Intelligenz Große Sprachmodelle (LLMs) effizient zu betreiben erfordert ausreichend GPU-Speicher sowie eine sorgfältige Koordination von Prompt-Verarbeitung und Token-Generierung. Dynamo ist ein Open-Source-Framework für verteilte Inferenz, das Deployment über mehrere Knoten, disaggregiertes Prefill und Decode sowie KV-bewusstes Routing mit Engines wie vLLM, SGLang und TensorRT-LLM unterstützt.

HyperPod unterstützt diese Deployments mit leistungsstarkem Elastic Fabric Adapter (EFA)-Networking, koordinierter GPU-Planung sowie Zustandsüberwachung und Wiederherstellung der Knoten. So funktioniert die Integration: Das HyperPod-Inference-Add-on installiert die Dynamo-Custom-Resource-Definitions sowie diese Komponenten für Serving und Scheduling. Der HyperPod Inference Operator verwaltet das Endpoint-Deployment über eine InferenceEndpointConfig (IEC)-Custom-Resource. Ihr dynamoSpec-Abschnitt liefert die Dynamo-Konfiguration.

Wichtige Fakten

  • Amazon SageMaker HyperPod Inference unterstützt jetzt NVIDIA Dynamo für verteilte Inferenz mit Serving über mehrere Knoten und disaggregiertem Serving, KV-bewusstem Routing und automatischer Fehlerwiederherstellung
  • Amazon SageMaker HyperPod Inference unterstützt jetzt NVIDIA Dynamo , wodurch die verteilten Inferenzfähigkeiten von Dynamo mit der Infrastrukturverwaltung von HyperPod kombiniert werden, um diese Herausforderungen zu lösen
  • Große Sprachmodelle (LLMs) effizient zu betreiben erfordert ausreichend GPU-Speicher und eine sorgfältige Koordination von Prompt-Verarbeitung und Token-Generierung
  • HyperPod unterstützt diese Deployments mit leistungsstarkem Elastic Fabric Adapter (EFA)-Networking, koordinierter GPU-Planung sowie Zustandsüberwachung und Wiederherstellung der Knoten

Quellen & Belege