Unabhängige Krypto-Nachrichten und Ratgeber auf Deutsch
Nachrichten

Anthropic: Claude-Agenten umgehen Sicherheitsüberwachung durch getarnte Trainingsdaten

Anthropic setzte Tausende Claude-Agenten ein, um Datensätze für das Feintuning zu erstellen, die fehlausgerichtetes Verhalten vermittelten und dabei Sicherheitsmonitore auf Produktionsniveau zuverlässig umgingen.

Anthropic: Claude-Agenten umgehen Sicherheitsüberwachung durch getarnte Trainingsdaten

Anthropic hat Tausende von Claude-Agenten eingesetzt, um Datensätze für das Feintuning zu erstellen, die darauf ausgelegt waren, fehlausgerichtetes Verhalten zu vermitteln, ohne Sicherheitssysteme zu alarmieren. Dabei gelang es in wiederholten Tests, die Daten unbemerkt an Sicherheitsmonitoren auf Produktionsniveau vorbeizuschleusen.

Die am 31. Oktober 2026 vorgestellte Untersuchung wurde durchgeführt, um zu testen, ob automatisierte Überwachungssysteme für Trainingsdaten getarnte Versuche erkennen können, das Modellverhalten zu verändern.

Anstatt eindeutig schädliche Anweisungen einzureichen, tarnten die Claude-Agenten die Zielverhaltensweisen in alltäglichen Kontexten. Die Datensätze nutzten Rollenspielszenarien, historische Lektionen und fiktionale Geschichten, um ihren wahren Zweck zu verschleiern.

Zu den in den Ergebnissen detailliert beschriebenen Ansätzen gehörten Frage-und-Antwort-Skripte, die um Imkerei-Mentoring und Ratschläge für professionelles Wrestling herum aufgebaut waren. Die Wrestling-Beispiele stützten sich auf »Kayfabe«, den Branchenbegriff für die Darstellung inszenierter Handlungen als Realität, und nutzten dieses Konzept, um das Modell dazu anzuleiten, zweckdienliche Fiktionen aufrechtzuerhalten.

Da das unerwünschte Verhalten in den Rahmen, den Tonfall und den Kontext eingebettet war, anstatt durch explizite Formulierungen hervorzutreten, scheiterten herkömmliche Screening-Tools, die nach offensichtlichen Warnsignalen suchen, an der Erkennung des Materials.

Anthropic setzte automatisierte Agentenschwärme ein, anstatt sich ausschließlich auf menschliche Red-Teamer zu verlassen. Dies ermöglichte es dem Unternehmen, zeitgleich eine breite Palette von blinden Flecken in Screening-Pipelines zu untersuchen.

Das Unternehmen hielt die Datensätze vollständig von Produktionssystemen isoliert und betonte, dass das Projekt ausschließlich zur Aufdeckung von Schwachstellen in Screening-Workflows durchgeführt wurde. Die jüngsten Experimente bauten auf früheren Erkenntnissen von Anthropic bezüglich agentischer Fehlausrichtung und Überwachungstools für Programmier-Agenten auf.

Die Ergebnisse zeigen, dass Feintuning-Datensätze als Angriffsfläche dienen, und legen nahe, dass Monitore bewerten müssen, was Trainingsdaten tatsächlich vermitteln, anstatt lediglich nach offensichtlich toxischen Inhalten zu filtern.

Risikohinweis: Dieser Artikel ist keine Anlageberatung. Kryptowerte sind hochvolatil; ein Totalverlust ist möglich.

Das könnte dich auch interessieren