Google-Studie: Echo-Dokumente senken RAG-Trefferqualität um bis zu 61,5 Prozent
Laut Forschern von Google können bereits fünf Dokumente, die eine Suchanfrage spiegeln, die Trefferqualität von RAG-Systemen um 40,2 bis 61,5 Prozent mindern. Gängige Abwehrmaßnahmen schwächen zudem reguläre Suchergebnisse.
Ein Forschungsteam von Google hat eine Schwachstelle in jenen Suchsystemen aufgedeckt, die KI-Modelle mit externem Wissen versorgen. Speisen Angreifer Dokumente in den Datenbestand ein, die lediglich die jeweilige Nutzeranfrage wiederholen, lässt sich die Suchgenauigkeit massiv stören.
Bereits fünf solcher Echo-Dokumente pro Zielabfrage reichen aus, um die Retrieval-Leistung um 40,2 bis 61,5 Prozent einzubrechen. Das geht aus einem am 3. November 2026 auf arXiv veröffentlichten Preprint hervor.
Die Untersuchung mit der Kennung arXiv:2611.04264 analysiert eine Methode, die das Team als anfragerelevante Korpus-Vergiftung (Query-Relevant Corpus Poisoning) bezeichnet. Angreifer schleusen dabei manipulierte Texte in einen durchsuchbaren Index ein, damit das System sie für eine spezifische Abfrage als außergewöhnlich relevant einstuft.
Die Forscher testeten das Verfahren an 623 Abfragen aus den Standard-Benchmark-Datensätzen SciFact und NFCorpus. Als Bewertungsmaßstab diente nDCG@10 – eine Kennzahl, die Suchsysteme belohnt, wenn die zutreffendsten Dokumente möglichst weit oben unter den ersten zehn Treffern landen.
Sowohl schlagwortbasierte als auch semantische Suchwerkzeuge zeigten sich anfällig. Das schlagwortbasierte Modell BM25 ließ sich durch die vollständige Verankerung der Suchanfrage täuschen, da der Algorithmus Texte mit exakten Wortübereinstimmungen bevorzugt. Beim dichten Retriever BGE-small, der Relevanz anhand der Bedeutung statt reiner Begriffstreffer bewertet, lag die Trefferquote für die manipulierten Daten bei fünf Echo-Dokumenten sogar bei 100 Prozent.
Wurden den manipulierten Texten schädliche Nutzlasten angehängt, wirkte sich dies kaum auf die Platzierung aus: Das Echo der Anfrage genügte bereits, um die eingeschleusten Dokumente an die Spitze der Ergebnisliste zu befördern.
In der Studie geprüfte Gegenmaßnahmen führten zu neuen Problemen. Filter auf Basis von Textüberlappungen, die Dokumente mit wiederholten Abfragephrasen aussortieren sollen, stoppten zwar derartige Angriffe, verschlechterten jedoch gleichzeitig die Trefferqualität bei sauberen, unmanipulierten Suchanfragen. Die Methode Maximal Marginal Relevance brachte in den Experimenten kaum oder keinen defensiven Nutzen.
Die Autoren betonen, dass sich der Rahmen der Untersuchung rein auf Fehler bei der Dokumentensuche beschränkte. Inwiefern die verzerrten Trefferlisten die nachgelagert generierten Antworten beeinflussen oder ob KI-Modelle im manipulierten Text eingebettete Befehle ausführen, war nicht Gegenstand der Versuche.
Risikohinweis: Dieser Artikel ist keine Anlageberatung. Kryptowerte sind hochvolatil; ein Totalverlust ist möglich.
