Anfragen von Coding-Agenten mit NVIDIA NeMo Switchyard auf Amazon Bedrock dem richtigen Modell zuweisen

Was passiert ist

Anfragen von Coding-Agenten mit NVIDIA NeMo Switchyard auf Amazon Bedrock dem richtigen Modell zuweisen, kündigte der AWS Machine Learning Blog an. Coding-Agenten arbeiten in Aufgaben, und entscheidend ist die Kosten pro gelöster Aufgabe, nicht der Preis pro Token. Coding-Agenten wie Claude Code und OpenAI Codex CLI (eine Textoberfläche, in der Befehle eingetippt statt angeklickt werden) arbeiten in Aufgaben. NVIDIA ist ein Halbleiterunternehmen mit Sitz in Santa Clara.

Ein Entwickler bittet um eine Änderung, und der Agent liest Dateien, bearbeitet Code und führt Tests aus, bis die Arbeit erledigt ist. Eine einzelne Aufgabe kann wenige Modellaufrufe oder Dutzende benötigen.

Der Entwickler zahlt für die Aufgabe, nicht für einen einzelnen Aufruf. Die Gesamtsumme hängt davon ab, wie viele Durchläufe ein Modell benötigt, wie viel Verlauf bei jedem Durchlauf erneut übertragen wird und wie oft eine Aufgabe wiederholt werden muss oder gar nicht abgeschlossen wird.

Kkünstliche Intelligenz: Coding-Agenten wie Claude Code und OpenAI Codex CLI arbeiten in Aufgaben. Sie zahlen für jeden Versuch, auch für Aufgaben, die nie abgeschlossen werden.

Wenn Sie Anfragen eines Coding-Agenten zwischen Modellen verteilen, sollten Sie das Routing daher an den Kosten pro gelöster Aufgabe messen: den Gesamtkosten Ihrer Läufe geteilt durch die Anzahl der Läufe, deren Tests bestanden werden. NVIDIA NeMo Switchyard ist eine Open-Source-Bibliothek, die einem KI-Agenten (KI, die mehrstufige Aufgaben ausführt, statt nur eine einzelne Frage zu beantworten) hilft, zu wählen, welches Modell jede Anfrage bearbeitet. Sie legen fest, welche Modelle er verwenden kann und welcher Strategie er folgt.