Nvidia-Studie: KI-Agenten erreichen volle Leistung auch mit Kontext-Übergaben
Laut einer neuen Forschungsarbeit von Nvidia können KI-Agenten die Leistung mit vollständigem Verlauf durch komprimierte Übergabenotizen und mit lediglich 16.000 Tokens erreichen.
Forscher von Nvidia haben Ergebnisse veröffentlicht, die zeigen, dass KI-Agenten ihre Genauigkeit bei komplexen, mehrstufigen Aufgaben beibehalten können, während sie das Arbeitsgedächtnis durch kurze Übergabenotizen auf bis zu 16.000 Tokens verkleinern.
Das Paper mit dem Titel „You don’t need long context“ wurde von Peter Belcak, Pavlo Molchanov und neun Koautoren verfasst. Die Forschung konzentriert sich auf Spitzen-Agenten (Frontier Agents), die mehrstufige Arbeitsabläufe abarbeiten, anstatt einzelne Fragen zu beantworten.
Anstatt ein vollständiges Konversationsprotokoll bei jedem Schritt mitzuschleppen, fasst das System vorherige Aktivitäten regelmäßig in einer Übergabenotiz zusammen. Der nächste Schritt startet dann neu mit lediglich dieser Zusammenfassung im Gedächtnis.
Die Tests umfassten 13 Benchmarks, darunter sechs Langzeit-Aufgaben wie SWE-bench Verified und Terminal-Bench 2.1. Die Forscher führten Tests mit zwei Modellen durch: Claude Opus 4.5 von Anthropic und GPT 5.6 Sol von OpenAI.
Auf SWE-bench Verified erzielte Claude Opus 4.5 ein Ergebnis von 70,2 %, wenn nach jedem einzelnen Schritt übergeben wurde – verglichen mit 70,0 %, wenn der gesamte Verlauf zur Verfügung stand. Die Forscher stellten außerdem fest, dass Anpassungen der Komprimierungseinstellungen den Score von Opus 4.5 beim Software-Benchmark auf 74,8 % anhoben.
Die Verschiebungen der Gesamtgenauigkeit blieben über verschiedene Konfigurationen hinweg gering. Opus 4.5 schwankte im Vergleich zur Baseline mit vollständigem Verlauf zwischen −3,7 und +5,6 Punkten, während GPT 5.6 Sol Abweichungen im Bereich von −3,3 bis +4,4 Punkten verzeichnete.
Die Komprimierungstests für Einzelaktionen reduzierten den Spitzenkontext von 130.000 bis 200.000 Tokens auf 15.000 bis 37.000 Tokens, während die mittleren Kontextwerte zwischen 7.000 und 9.000 Tokens lagen.
Das Paper argumentiert, dass Techniken des Kontextmanagements – einschließlich strukturierter Übergaben, selektiven Lesens und effizienter Zusammenfassungen – effektiver sind als die bloße Erhöhung der Token-Kapazität. Auch die Kosten bleiben ein wesentlicher Faktor: Das Paper weist darauf hin, dass der Betrieb von Modellen mit 256.000 Tokens bis zu siebenmal mehr kosten kann als mit 16.000 Tokens.
Risikohinweis: Dieser Artikel ist keine Anlageberatung. Kryptowerte sind hochvolatil; ein Totalverlust ist möglich.
