KI-Agenten verbrauchen bis zu 96 % ihrer Token für das erneute Lesen von Kontext, so Arena.ai

Leistungsstarke KI-Agenten verbrauchen den überwiegenden Teil ihres Rechenbudgets dafür, bestehenden Kontext erneut zu lesen, anstatt neue Antworten zu generieren. Das geht aus einer Untersuchung von Arena.ai hervor.

Bei der Auswertung von über 26.000 Sitzungen bei 30 Agenten, die von 13 Laboren zwischen dem 12. September und dem 23. Oktober 2026 entwickelt wurden, stellte die Plattform Agent Arena fest, dass führende Agenten etwa 93 zwischengespeicherte oder erneut gelesene Input-Token für jeden einzelnen Output-Token verbrauchen.

Diese erneuten Lesevorgänge machten 86 % bis 96 % des gesamten Token-Verbrauchs aus. Im Gegensatz dazu machte der tatsächlich generierte Output – sei es Code oder Text – lediglich 1 % bis 2 % des gesamten Token-Volumens aus.

Die hohe Input-Last resultiert aus der Arbeitsweise von Agenten. Anders als standardmäßige Chatbots, die einzelne Antworten liefern, arbeiten Agenten in Schleifen: Sie analysieren die Umgebung, führen eine Aktion aus, überprüfen den aktualisierten Zustand und handeln erneut. Dabei schleppen sie bei jedem Durchlauf den angesammelten Kontext wie frühere Anweisungen, Dateien und mehrstufige Verläufe mit sich.

Da das erneute Lesen den Großteil des Verbrauchs ausmacht, ist Prompt-Caching zum dominierenden Faktor für die tatsächlichen Kosten geworden. Arena.ai stellte fest, dass Aufgaben ohne Caching das 3,6-Fache von identischen Aufgaben kosteten, die mit aktiviertem Caching ausgeführt wurden.

In einem Benchmark mit Claude Fable 5.1 stiegen die Kosten für eine Aufgabe von 7,44 $ mit Caching auf 27 $ ohne Caching. Die Rabatte für Caching bei den Anbietern haben sich deutlich ausgeweitet und sanken von 0 % Anfang 2024 auf bis zu 5 % der standardmäßigen Input-Tarife im Jahr 2026.

Die Analyse verdeutlichte zudem die Nutzernachfrage: Arbeitsbezogene Aufgaben machten 69 % aller ausgewerteten Sitzungen aus. Diese Aufgaben stützen sich typischerweise auf Codebases, umfangreiche Dokumentationen und ausgedehnte mehrstufige Abläufe, die die Kontextgröße sprunghaft ansteigen lassen.

Da Output-Token nur einen Bruchteil der Gesamtnutzung ausmachen, erfordert die Bewertung von Agenten-Implementierungen den Blick auf die Caching-Effizienz der gesamten Aufgabe anstelle von Listenpreisen für generierte Antworten. Da die Cache-Preise bereits auf 5 % der Standard-Inputs rabattiert sind, könnten weitere Effizienzverbesserungen davon abhängen, Agenten zu entwickeln, die insgesamt weniger Kontext erneut einlesen müssen.