BEMULA-Benchmark zeigt: Memory-Systeme von KI-Agenten löschen Daten nicht zuverlässig
Ein neuer Benchmark der Tsinghua-Universität zeigt, dass Memory-Systeme von KI-Agenten Löschaufforderungen von Nutzern fast vollständig ignorieren. Sensible Daten bleiben somit zugänglich, obwohl die Löschung bestätigt wurde.
KI-Agenten, die vorgeben, Nutzerinformationen vergessen zu haben, halten dieses Versprechen größtenteils nicht ein. Das belegt eine Untersuchung der Tsinghua-Universität, in der der Benchmark BEMULA vorgestellt wird.
Die Studie, die um den 14. Oktober 2026 als Preprint veröffentlicht wurde, evaluierte sechs Memory-Architekturen auf drei Large-Language-Model-Backbones sowie Full-Context-Baselines auf zwei Modellen. Über alle getesteten Systeme hinweg schaffte es keines, mehr als 1,5 % der Vergessens-Anfragen von Anfang bis Ende erfolgreich umzusetzen; die meisten Konfigurationen erreichten einen Wert von 0 %.
Der BEMULA-Benchmark nutzte 50 gepaarte Dialog-Setups, bestehend aus 746 Sitzungen und 36.900 Dialogrunden. Durch den Abgleich von Kontrollgesprächen mit identischen Chats, die 135 Löschanfragen über sechs Kategorien hinweg enthielten, überprüften die Forscher anhand von 1.742 Testfragen, ob die Systeme die betreffenden Informationen beibehielten.
Die Behaltensquoten für Fakten, um deren Löschung die Nutzer gebeten hatten, lagen routinemäßig bei über 87 %. Ein standardmäßiges Retrieval-Setup, Naive RAG, wies nach Löschanweisungen eine geschätzte Behaltensquote von 74 % auf.
Die Resistenz gegen Extraktionsversuche fiel ähnlich schwach aus. In einigen getesteten Szenarien lag der beste Schutz gegen einfaches Prompting bei rund 35,7 %, sodass vermeintlich gelöschte Details meist durch schlichte Nachfragen wieder abgerufen werden konnten.
Wie die Studie ergab, generierten die Systeme zwar ohne Weiteres Bestätigungen für Löschanfragen, doch boten diese Rückmeldungen keinerlei Garantie dafür, dass die Daten tatsächlich gelöscht oder vor einer Extraktion geschützt waren. In anderen Fällen litten die Modelle unter einer Über-Löschung („Over-Deletion“) und entfernten unzusammenhängende Informationen, deren Beseitigung die Nutzer nie verlangt hatten.
Die Ergebnisse knüpfen an frühere Arbeiten wie den MEMCUT-Benchmark an, der die verbleibende Wiederherstellbarkeit von zum Löschen bestimmten Daten untersuchte. Das Forschungsteam der Tsinghua-Universität hat den gesamten BEMULA-Datensatz sowie den Benchmark-Code öffentlich auf GitHub zur Verfügung gestellt.
Risikohinweis: Dieser Artikel ist keine Anlageberatung. Kryptowerte sind hochvolatil; ein Totalverlust ist möglich.
