Google Cloud AI Research hat Harness2, Version 0.1.0, öffentlich gemacht, ein Framework, das KI-Agenten ermöglicht, während der Bereitstellung ihre eigenen Ausführungsgerüste neu zu schreiben. Unter der Apache-2.0-Lizenz veröffnetlicht, optimiert das Werkzeug Prompts, Memory und Tools um froren Modellgewichte, ohne dass irgendwelche Trainingsläufe erforderlich sind.
Google Cloud AI Research Open-Sources Harness2 for Deployment-Time Adaptation
Google Cloud AI Research has released Harness2 under an Apache 2.0 license, introducing a recursive framework designed to let AI agents modify the system architecture surrounding them in production. Das Framework wurde von Google Cloud AI Research auf GitHub veröffentlicht und arbeitet vollständig ohne trainierte Parameter, fehlerbereinigte Durchläufe oder neue Modellgewichte. Die zugrundeliegenden Gewichte bleiben vollständig eingefroren, während acht editierbare Komponenten in der Ausführungsschicht sich dynamisch an ungesehene Laufzeitaufgaben anpassen. Die Leitung des Teams liegt bei Tomas Pfister, unterstützt von Ruiyao Xu, Yanfei Chen, Rujun Han und weiteren Personen.
Das Projekt adressiert einen grundlegenden Engpass in agentischen Workflows. Herkömmliche Routinen zur Selbstverbesserung stützen sich auf markierte Korrektursignale oder Ground-Truth-Prüfer, um Aktualisierungen zu steuern. In Einsätzen in der offenen Welt existieren diese Prüfer selten. Durch die Ausrichtung auf die umgebenden Anweisungen anstelle der neuronalen Kernparameter stellt das Framework einen Plug-and-Play-Mechanismus sowohl für kommerzielle APIs als auch für Open-Source-Fundamentmodelle bereit.
Die Acht Editierbaren Komponenten des Harness2-Frameworks
Das System legt acht verschiedene Dateien frei, die steuern, wie ein Agent mit seiner Umgebung interagiert.
- Systemprompt für die Kernanweisungseinrichtung.
- Leitplanken zur Einschränkung des Modellverhaltens.
- Speicherpuffer für die Statusaufbewahrung.
- Werkzeuganleitung zur Bestimmung von API-Interaktionen.
- Subagenten für die Aufgaben delegierung.
- Fähigkeiten für die prozedurale Ausführung.
- Skripte für die Workflow-Automatisierung.
- Plugins, die als Middleware agieren.
Dieses Layout erweitert frühere Forschungen zur Agentic Harness Engineering um eine achte Komponente. Zusammen steuern sie die Kontextkonstruktion, Werkzeugschnittstellen und Routing-Schleifen, ohne die internen Gewichte des Modells zu verändern.
Propose-Probe-Compose und die Zwei Ebenen der Rekursion
Um sich sicher in nicht verifizierten Umgebungen zu bewegen, implementiert das Framework eine kontrastive Suchstrategie namens Propose-Probe-Compose. Wenn eine Aufgabe eintrifft, führt der Agent einen ersten Durchlauf mit seinem Basis-Harness aus. Ein Editor-Modell schlägt daraufhin zwei Kandidatenmodifikationen vor: einen invarianten Kandidaten, der auf allgemeine Fehler wie Planungsfehler abzielt, und einen Domänenkandidaten, der spezifische Wissenslücken adressiert. Beide Kandidaten laufen auf derselben Aufgabe, und der Komponist vergleicht ihre Trajektorien mit einer Referenz, um nur empirisch gestützte Änderungen beizubehalten.
Über einzelne Aufgaben hinaus speichert eine sekundäre Harnessing-Ebene der Rekursion angenommene Änderungen und Ausführungslektionen. Jede neue Sitzung wird dabei vom Standard-Basis-Harness aus gestartet.
Benchmark-Leistung und der Einsatz von Claude Opus als Editor
Leistungsbewertungen über professionelle Benchmarks hinweg demonstrieren sofortige Gewinne aus einem einzelnen Verfeinerungsdurchlauf. Auf WorkBuddy-Bench verbesserten sich die Ergebnisse über alle getesteten Executor-Konfigurationen hinweg. Ein einzelner rekursiver Durchlauf liefert sofortige Gewinne über offene und proprietäre Modelle hinweg im Vergleich zu ihren Basis-Harnesses. Die Leistungswerte zeigen im Einzelnen folgende Verbesserungen:
- Gemini 3.5 Flash mit OpenCode: Steigerung von 72,4 auf 77,5
- GLM-5 mit OpenCode (WorkBuddy): Steigerung von 64,2 auf 75,7 (ein Zuwachs von 11,5 Punkten)
- GLM-5 mit OpenCode (JobBench): Steigerung von 20,6 auf 24,2
- GLM-5 mit Codex (JobBench): minimaler Zuwachs von 23,6 auf 24,8 (ein Zuwachs von lediglich 1,2 Punkten)
Auf LAB, einem legal-agent Benchmark, lag der Gewinn bei der teilweisen Erfolgsquote vor der Rekursion bei 11,8 Prozentpunkten und bei 6,7 Punkten nach der Rekursion. Evaluierungen über drei strenge Unternehmens-Benchmarks erbrachten Erträge von bis zu 11,5 Punkten auf WorkBuddy-Bench, 4,5 Punkten auf JobBench und massive 11,8 Prozentpunkte auf LAB.
Das Forschungspapier merkt ein methodisches Detail an: Während Google seine Testaufgaben auf Gemini 3.5 Flash und GLM-5 ausführte, verließ es sich auf Anthropic’s Claude Opus 4.8 als Editor-Modell, das die Änderungen am Harness vorschlägt und zusammensetzt.
–>Verwandte Artikel
