Unzusammenhängende Bilder können Code-Ausgaben von KI-Modellen steuern, zeigt Studie von DeepMind und Stanford

Nicht zusammenhängende visuelle Symbole, die Prompts beigefügt werden, können im Verborgenen beeinflussen, wie Vision-Language-Modelle Software schreiben. Das geht aus einer Studie von Forschenden von Google DeepMind und der Stanford University hervor.

Die Studie unter der Leitung von Alexa Tartaglini, die am 27. Oktober 2026 auf arXiv veröffentlicht wurde, untersuchte, wie multimodale Modelle mit einem standardmäßigen Problem zur Traversierung von Binärbäumen umgehen. Diese Programmieraufgabe lässt sich entweder iterativ mittels Schleifen oder rekursiv durch Selbstaufrufe von Funktionen lösen.

Beim Test von 288 Form-Farb-Paarungen mit 20 Stichproben pro Modellaufbau stellten die Forschenden fest, dass bestimmte visuelle Eingaben zu dramatischen Veränderungen des Codestils führten. Das Hinzufügen des Bildes eines roten Herzens zu den Prompts veranlasste Claude Opus 4.7 und GPT-5.4 in 100 % der Fälle dazu, rekursive Lösungen auszugeben – ausgehend von einem Basiswert von 0 % ohne das Bild.

Ein anderer visueller Hinweis beeinflusste Gemini 3.1 Pro, bei dem ein gelbes Häkchen die Rekursionsrate auf 90 % steigerte. Über die gesamte Testreihe hinweg wies jedes Modell ein eigenes, unverwechselbares Steuerungsprofil auf.

Kontrolltests des Teams bestätigten, dass das Ersetzen der Bilder durch Textbeschreibungen nur minimale Veränderungen bewirkte. Auch das Hinzufügen von zufälligem Rauschen über Gaußsche Rauschbilder veränderte die Ergebnisse kaum, und intuitive Formen wie verzweigte Pfeile schnitten nicht durchweg besser ab als willkürliche Symbole.

Die Forschenden beobachteten, dass die Modelle die visuellen Eingaben in ihren schrittweisen Argumentationsketten (Reasoning Traces) durchgehend unerwähnt ließen. Die Systeme änderten ihren technischen Ansatz, sparten den Auslöser dieser Entscheidung in ihren schriftlichen Erklärungen jedoch aus.

Die Arbeit beschreibt den Effekt als visuelle Steuerung (Visual Steering) und betont, dass die Ergebnisse vorläufig bleiben. Die Autoren wiesen jedoch darauf hin, dass dieses Verhalten reale Einsätze beeinträchtigen könnte, bei denen Modelle Screenshots oder Diagramme analysieren, und zugleich Audits erschwert, die auf generierten Argumentationsschritten basieren. Da die Steuerungsreaktionen bei den 288 getesteten Kombinationen variierten, lässt sich kein einheitlicher Satz visueller Hinweise auf alle Systeme anwenden.