WORLDTECHAWS erklärt Prompt-Caching für OpenAI-Modelle auf Amazon Bedrock zur Senkung der Agentenkosten
Der AWS Machine Learning Blog hat eine Anleitung zum Prompt-Caching für OpenAI-Modelle auf Amazon Bedrock veröffentlicht, die sich an KI-Agenten richtet, die mehrstufige Aufgaben erledigen. Die Methode soll Eingabekosten und Latenz senken, indem ein Agent bereits verarbeiteten Kontext wiederverwendet.
Warum Agenten ihren Kontext immer neu lesen
Der Blog beschreibt, dass jeder Schritt eines Agenten, etwa der Aufruf eines Werkzeugs, das Auswerten des Ergebnisses und die Wahl des nächsten Zugs, die Übermittlung der gesamten bisherigen Historie an das Modell erfordert. Dazu zählen die Werkzeugdefinitionen, die Anweisungen, jeder frühere Werkzeugaufruf und jedes Ergebnis.
Dem Beitrag zufolge sagt das Modell nur das nächste Token auf Basis der erhaltenen Eingabe voraus und behält zwischen den Anfragen keinen internen Speicher, weshalb der vollständige Kontext bei jedem Durchgang erneut verarbeitet werden muss.
So nutzt der Dienst gespeicherte Eingaben wieder
Der Dienst bewahrt den Eingabe-Prompt mit Anweisungen, Werkzeugen und Inhalten und wendet ihn auf die folgende Anfrage zu einem reduzierten Eingabepreis erneut an. Der Blog skizziert einen typischen ersten Aufruf aus Werkzeugliste, Anweisungen, Sitzungsverlauf und dem neuesten Zug, wobei der Verlauf mit jedem Schritt wächst.
Technisch verarbeitet das Modell zunächst jedes Eingabe-Token in einer Phase namens Prefill und baut dabei die Key- und Value-Vektoren auf, die seinen Arbeitszustand bilden. Das Prompt-Caching speichert diesen Zustand, sodass der Dienst ihn bei einer späteren Anfrage mit denselben Eingabe-Token lädt, statt ihn neu zu berechnen, und nur das neue Material verarbeitet.