WORLDTECHAmazon Bedrock liefert schemakonforme JSON-Ausgaben für Claude-Modelle
Entwickler, die Anthropics Claude-Modelle über Amazon Bedrock ansprechen, können laut einem Beitrag von AWS nun JSON-Antworten erhalten, die einer festgelegten Struktur folgen. Die Funktion gilt für alle Claude-Modelle auf den Endpunkten bedrock-runtime und bedrock-mantle.
Was Entwickler erhalten
Die Ausgabe lässt sich über ein JSON-Schema als Ausgabeformat oder über strikte Tool-Nutzung auf eine festgelegte Struktur bringen. Laut dem Beitrag funktioniert dies sowohl bei Aufrufen über Boto3 und die bedrock-runtime-APIs als auch bei Nutzung der Messages-API auf dem bedrock-mantle-Endpunkt.
Dem Beitrag zufolge entfallen damit eigenes Parsing, Wiederholungslogik und Nachbearbeitung, um die gewünschte Struktur zu erreichen.
Wie das Schema durchgesetzt wird
AWS beschreibt den Mechanismus als eingeschränktes Dekodieren: Das Schema greift bereits während der Erzeugung der Token, statt die fertige Ausgabe nachträglich zu prüfen. Das Modell erzeugt daher keine Token, die das Schema verletzen würden, wodurch Feldtypen konsistent bleiben und Pflichtfelder vorhanden sind.
Da Antworten dem Schema folgen, argumentiert AWS, dass Integrationen keine Wiederholungen mehr bei Schemaverletzungen benötigen. Der Beitrag nennt außerdem, dass Antworten auf die im Schema definierten Felder beschränkt sind, was die Zahl der Ausgabe-Token senken und bei umfangreichen Anwendungen die Inferenzkosten verringern kann.
Von AWS genannte Anwendungsfälle
Der Beitrag nennt das Auslesen von Pflichtfeldern aus Quartalsberichten und Compliance-Dokumenten, das Überführen klinischer Notizen in elektronische Patientenakten sowie das Anreichern von Produktkatalogen mit konsistenten, geprüften Ergebnissen. Aufgeführt werden außerdem die Analyse von Verträgen auf Kernbedingungen, Parteien und Pflichten sowie das Routing von Support-Tickets anhand von Absichten, Stimmungen und Entitäten.
Unterstützung für Batch und regionsübergreifende Inferenz
Strukturierte Ausgaben funktionieren mit Batch-Inferenz für die asynchrone Verarbeitung großer Anfragemengen. Auf dem bedrock-runtime-Endpunkt arbeiten sie zudem mit regionsübergreifender Inferenz; wird eine Ausgabe in Echtzeit benötigt, können Antworten als typisierte Ereignisse gestreamt werden. Die Verfügbarkeit hängt davon ab, ob ein Modell in der jeweiligen Region angeboten wird.
Offene Fragen
- Wie stark sinken die Kosten durch die geringere Zahl an Ausgabe-Token in der Praxis?
- Welche Claude-Modelle sind in welcher AWS-Region verfügbar?