Entscheidungsmodelle mit llama.cpp auf Amazon SageMaker AI bereitstellen

Was passiert ist

Diese technische Anleitung zeigt, wie man mit dem AWS Deep Learning Container für llama.cpp OpenAI-kompatible Chat Completions bereitstellt und die Laufzeitumgebung anschließend mit SemIf erweitert, um Wahrscheinlichkeiten über vorgegebene Optionen zurückzugeben – auf CPU (dem zentralen Prozessor eines Computers, dem Allzweck-Prozessor) oder GPU (einem Chip, der viele Berechnungen gleichzeitig ausführt und für Grafik und KI genutzt wird). Anwendungen, die Anfragen weiterleiten, Agentenaktionen auswählen oder Richtlinienergebnisse zuweisen, benötigen häufig Bewertungen über eine feste Menge an Auswahlmöglichkeiten statt frei formuliertem Text.

Das Bereitstellen dieser Entscheidungsmodelle mit llama.cpp auf Amazon SageMaker (Python-Bibliothek) AI bietet einen verwalteten Weg, quantisierte Modelle auf CPU- oder GPU-Infrastruktur auszuliefern. Frühere Beiträge behandeln WhisperX, vLLM-Omni – Teil 1 und vLLM-Omni – Teil 2.

Anschließend erweitert man dieselbe Laufzeitumgebung mit SemIf, früher OpenJev, das Wahrscheinlichkeiten über vorgegebene Optionen zurückgibt, ohne ein Antwort-Token zu dekodieren. Das begleitende Codebeispiel enthält Bereitstellungsoptionen für CPU und GPU.

Wichtige Fakten

• Das begleitende Codebeispiel enthält – CPU- und GPU-Bereitstellungsoptionen