WORLDTECHGoogle Research stellt Harness2 als Open Source für die Verfeinerung von Agenten-Harnesses bereit
Google Research hat Harness2 unter der Apache-2.0-Lizenz veröffentlicht, ein Framework, das den Code und die Dateien um ein eingefrorenes Modell verfeinert, während der Agent läuft. Laut MarkTechPost hob ein einzelner Verfeinerungsschritt GLM-5 auf WorkBuddy-Bench um 11,5 Punkte, ohne dass Gewichte aktualisiert wurden.
Was das Framework verändert
Das Harness umfasst alles, was das Modell umgibt, darunter Prompts, Werkzeuge, Speicher, Fertigkeiten und Orchestrierung. Harness2 lässt das Modell selbst unverändert und arbeitet an diesem umgebenden System. Das Forschungsteam beschreibt es als Plug-and-play-Framework, das sich bestehenden Agenten hinzufügen lässt.
Harness2 stellt acht bearbeitbare Komponenten bereit, jede als eigene Datei eingebunden: den System-Prompt, Leitplanken, Speicher, Werkzeughinweise, Subagenten, Fertigkeiten, Skripte und Plugins. Zusammen steuern sie den Kontextaufbau, die Werkzeugschnittstelle, die Delegation und das Verhalten innerhalb der Werkzeugschleife. Das Layout erweitert die Aufteilung in sieben Dateien aus früheren Arbeiten zum Agentic Harness Engineering um eine Komponente.
Rekursion ohne Labels oder Tests
Das Forschungsteam argumentiert, dass sich die meisten Selbstverbesserungsverfahren auf Labels oder Testfälle stützen. Harness2 ist für eine offene Umgebung gebaut, in der unbekannte Aufgaben eintreffen und kein Verifizierer prüft, ob eine Antwort stimmt.
Das Framework arbeitet auf zwei miteinander verbundenen Rekursionsebenen. Auf Aufgabenebene läuft zunächst ein kontrastiver Schritt aus Vorschlag, Prüfung und Zusammenführung: Die Aufgabe wird mit dem Basis-Harness ausgeführt, danach werden zwei Kandidaten auf derselben Aufgabe bewertet. Der invariante Kandidat zielt auf allgemeine Fehler wie Planung oder Werkzeugnutzung, der domänenspezifische auf Wissen und Verfahren für die jeweilige Domäne.
Gemeldete Ergebnisse und Voraussetzungen
Dem Bericht zufolge verbesserte ein Verfeinerungsschritt alle vier Kombinationen aus Modell und Harness auf allen drei Benchmarks. Am schwächsten war das Ergebnis von GLM-5 unter Codex, das auf JobBench nur 1,2 Punkte gewann und von 23,6 auf 24,8 stieg. Das Framework trainiert keine Parameter.
Es läuft unter Linux mit Python 3.12 oder 3.13 sowie uv, Modellaufrufe laufen über Vertex AI.
Offene Fragen
- Halten die Gewinne auch auf Benchmarks, die über die drei genannten hinausgehen?