Multi-Node-Inferenz-Workloads mit Ray AI model Deep Learning Containers ausführen

Was passiert ist

Der vorgefertigte Container liefert den vollständigen Inferenz-Stack mit, sodass Sie die Bereitstellung konfigurieren, statt sie selbst zusammenzusetzen. Erfahren Sie, wie Sie ein großes Sprachmodell (eine Art KI-System, das mit Text trainiert wird, um Text zu erzeugen) über zwei GPU-Knoten (einen Chip, der für viele Berechnungen gleichzeitig gebaut ist und für Grafik sowie KI genutzt wird) auf Amazon EKS mit den Multi-Node-Ray-LLM-Deep-Learning-Containern bereitstellen. Dabei gibt es separate Prefill- und Decode-Knoten hinter einem gemeinsamen, OpenAI-kompatiblen Endpunkt.

Das System arbeitet mit separaten Prefill- und Decode-Knoten hinter einem gemeinsamen, OpenAI-kompatiblen Endpunkt. Eine solche Multi-Node-Konfiguration ist für Tensor-, Pipeline- und Datenparallelismus sowie für Inferenz-Workloads mit Prefill/Decode-Disaggregation üblich.

Sie hatten bereits einen funktionierenden Inferenz-Endpunkt (das Ausführen eines trainierten Modells, um eine Antwort zu erhalten, nicht das Trainieren selbst). Der Container hält den GPU-Stack kompatibel, einschließlich der CUDA-Bibliotheken, sodass Sie keinen Standardcode schreiben mussten. Ray ist ein verteiltes Compute-Framework, daher können sich Ray-Serve-Deployments über mehrere Knoten erstrecken.