Die Sicherheitsforscher von Check Point Research haben ein überraschendes neues Risiko in Multi-Agenten-KI-Systemen aufgedeckt. KI-Agenten lassen sich durch das Verhalten anderer Agenten auf eine Weise beeinflussen, die dem menschlichen Gruppendruck sehr ähnlich ist. In mehr als 500 kontrollierten Experimenten stieg die Zahl der Regelverstöße von 44 Prozent auf 98 Prozent, allein dadurch, dass die Anzahl der Agenten erhöht wurde, die scheinbar ihre Meinung änderten und gegen eine Regel verstießen. Noch auffälliger war, dass bei über 400 Verstößen der beeinflusste Agent niemals zugab, dass seine Kollegen eine Rolle bei seiner Entscheidung gespielt hatten.
Ein direkter Überredungsversuch zu einem Regelbruch funktionierte nicht, soziale Bestätigung hingegen war erfolgreich, und zwar bei verschiedenen Tests. Beispielsweise wenn die Tests die Anweisung enthielten, nicht auf einen gesperrten Ordner zuzugreifen, der zur Erledigung einer Aufgabe erforderlich war, und die Forscher dann versuchten, den Agenten zu überreden, es trotzdem zu tun. Die Verstoßraten sanken in diesem Fall sogar von 33 auf elf Prozent, wenn andere KI-Agenten des gleichen Testszenarios darauf bestanden, dass die Beschränkung aufgehoben worden sei. Sie sanken außerdem auf neun Prozent, wenn Kosten-Nutzen-Argumente vorgebracht wurden, und auf 17 Prozent, wenn ein KI-Agent, der dem Test-Agenten zuvor bei einer anderen Aufgabe geholfen hatte, ihn bat, den Gefallen nun zu erwidern. Mit anderen Worten: Die direkte Aufforderung an die KI, die Regeln zu brechen, erhöhte in jedem Fall die Wahrscheinlichkeit, dass sie sich daran hielt.
Diese Beobachtung verkehrte sich jedoch ins Gegenteil, wenn der Test-Agent sah, wie andere KI-Agenten ihr Verhalten änderten. Wenn andere Agenten der Regel zunächst zustimmten, später aber berichteten, sie gebrochen zu haben, stieg die Wahrscheinlichkeit, dass der getestete Agent dasselbe tat, deutlich an. Eine einzige Kehrtwende eines Agenten erhöhte die Verstöße von 33 auf 48 Prozent. Als vier Agenten ihre Haltung änderten, stiegen die Regelverstöße auf 74 Prozent. Bei acht Kurswechseln erreichten sie sogar 98 Prozent.
Am wichtigsten ist jedoch, dass dem Agenten keine konkreten Anweisungen erteilt wurden, die Regel zu brechen. Im Gegensatz zu Prompt-Injection- oder Jailbreak-Angriffen ging der Einfluss ausschließlich auf die Beobachtung der Handlungen von Gleichrangigen zurück. Dies eröffnet einen neuen und weitgehend unerforschten Angriffsvektor für Organisationen, die Teams von KI-Agenten einsetzen.
Der Einfluss war in den Protokollen nicht erkennbar.
- Bei mehr als 400 Regelverstößen nannte der Agent nicht ein einziges Mal einen anderen Agenten als Grund für sein Handeln.
- Rund 90 Prozent der Verstöße erfolgten ohne jegliche Erklärung.
- Für Verteidiger bedeutet dies, dass die Ursache einer Fehlentscheidung möglicherweise nur in den Gesprächen und im Kontext liegt, die der Agent beobachtet hat, und nicht in der eigenen Begründung des Agenten.
Beginnen KI-Agenten, menschliches Sozialverhalten widerzuspiegeln?
Was diese Forschung auszeichnet, ist, dass sie über Angriffe auf einzelne Modelle hinausgeht und untersucht, wie sich KI als Teil eines Teams verhält. Während sich die meisten Sicherheitsforschungen im Bereich KI auf Eingabeaufforderungen, Jailbreaks oder böswillige Anweisungen konzentrieren, legt diese Studie nahe, dass das Gruppenverhalten selbst die Entscheidungsfindung der KI beeinflussen kann.
Viljami Laurmaa, Senior Research Engineer bei Check Point AI Security, erklärt hierzu: „Diese Untersuchung legt nahe, dass KI-Agenten nicht nur auf Anweisungen reagieren, sondern auch auf das Verhalten in ihrer Umgebung. Da Unternehmen zunehmend auf Teams aus zusammenarbeitenden KI-Agenten setzen, müssen wir möglicherweise anfangen, über Konzepte wie Vertrauen, Einfluss und soziale Dynamik in KI-Systemen nachzudenken und nicht nur über Befehle und Berechtigungen. Für Sicherheitsteams wird die Herausforderung darin bestehen, nicht nur zu verstehen, was ein einzelner Agent getan hat, sondern auch, was er vor seinem Handeln beobachtet hat. Die Zukunft der KI-Sicherheit könnte ebenso sehr von der Überwachung der Interaktionen zwischen den Agenten abhängen wie von der Überwachung der Agenten selbst.“
Fazit
Die Ergebnisse spiegeln die berühmten Asch-Konformitätsexperimente wider, bei denen Menschen oft dem Verhalten einer Gruppe folgten, selbst wenn sie wussten, dass es falsch war. Dies deutet darauf hin, dass KI-Agenten möglicherweise stärker durch die Beobachtung des Verhaltens von Gleichgesinnten beeinflusst werden als durch direkte Anweisungen oder Überredung.
Für Unternehmen sind die Auswirkungen erheblich. Ein Angreifer muss möglicherweise nicht jeden Agenten in einem System kompromittieren. Die Beeinflussung oder auch nur der Anschein einer Beeinflussung einer kleinen Anzahl von Agenten könnte einen Welleneffekt im gesamten KI-Team auslösen. Da KI-Agenten zunehmend Code überprüfen, Arbeitsabläufe genehmigen und operative Entscheidungen treffen, könnte das Verständnis dafür, wie sie sich gegenseitig beeinflussen, genauso wichtig werden wie die Absicherung der Agenten selbst.
#CheckPoint
