NVIDIA Run:ai GPU-Fractioning auf Amazon EKS
Was passiert ist
NVIDIA Run:ai GPU-Fractioning (ein Chip, der viele Berechnungen gleichzeitig ausführt und für Grafik sowie KI eingesetzt wird) baut auf MPS auf und bietet Kubernetes-integrierte Planung, speicherbegrenzte Verträge pro Pod, Durchsetzung und Metriken. NVIDIA Run:ai GPU-Fractioning ergänzt die softwarebasierte GPU-Nutzung um die Integration in die Kubernetes-Planung, durchgesetzte GPU-Speicherlimits und Metriken pro Pod. NVIDIA ist ein Halbleiterunternehmen mit Sitz in Santa Clara; zu seinen Produkten und Dienstleistungen gehören Grafikprozessoren und Software.
In dieser Anleitung erfahren Sie, wie Sie mit dem Open-Source-Tool NVIDIA Run:ai GPU-Fractioning auf Amazon EKS zwei speicherbegrenzte Kubernetes-Pods auf einer einzigen NVIDIA A10G GPU betreiben. Der Ablauf umfasst den Aufbau eines individuellen Amazon Linux 2023-Images, die Installation des KAI Scheduler und des GPU-Fractioning-Operators sowie die Überprüfung der GPU-Speicherverträge pro Pod einschließlich Durchsetzung und Metriken.
GPU-Sharing ist nicht neu: Multi-Instance GPU (MIG), Time-Slicing und Multi-Process Service (MPS) decken unterschiedliche Anforderungen an Isolation und Auslastung ab. NVIDIA Run:ai ist eine Software zur Orchestrierung von KI-Workloads für Kubernetes.
Der GPU-Fractioning-Operator kann helfen, dass mehrere Teams eine oder zwei GPUs auf Amazon Elastic Kubernetes Service (Amazon EKS) gemeinsam nutzen. Künstliche Intelligenz: GPU-Sharing ist nicht neu: Multi-Instance GPU (MIG), Time-Slicing und Multi-Process Service (MPS) decken unterschiedliche Anforderungen an Isolation und Auslastung ab.
Notebooks, Modellbewertungen und kleine Inferenzdienste (das Ausführen eines trainierten Modells, um eine Antwort zu erhalten, im Gegensatz zum Training) können dazu führen, dass Teams warten müssen, obwohl GPU-Speicher noch verfügbar ist. In der Ausgangslage dieser Anleitung stellt das NVIDIA-Geräte-Plugin die einzelne GPU als eine einzige Ressource nvidia.com/gpu bereit, wobei GPU-Sharing deaktiviert ist.
Zwei Pods, die jeweils nvidia.com/gpu: 1 anfordern, können auf diesem Knoten nicht gleichzeitig laufen, selbst wenn ihr gemeinsamer GPU-Speicherbedarf passt. Der Ansatz gilt für NVIDIA-GPUs, die die Hardware- und Softwareanforderungen des GPU-Fractioning-Operators erfüllen, einschließlich GPUs ohne MIG.