Die Innovationsgeschwindigkeit künstlicher Intelligenz ist zwar weitläufig bekannt, doch das macht sie nicht weniger bemerkenswert. So manch beliebtes KI-Tool aus dem letzten Jahr wirkt im Vergleich zu den heute verwendeten geradezu prähistorisch. Gleichzeitig entwickeln sich auch die KI-Risiken weiter und die beschränken sich nicht mehr nur auf die Modelle, sondern auf die gesamte Datengrundlage. Damit sind KI-Risiken auch zu operativen Risiken geworden, sprich: Sie gefährden regelrecht den Betrieb. Viele Unternehmen sind jetzt gefordert und müssen ihren Umgang mit KI-Risiken an diesen Wandel anpassen.
KI-Agenten haben teils mehr Befugnisse als die Mitarbeiter
Sie haben weitreichende Berechtigungen, die es ihnen ermöglichen, automatisch Beiträge zu veröffentlichen, Lösungen bereitzustellen und Änderungen vorzunehmen. Bei diesem Grad an Autonomie soll der Mensch als zwischengeschaltetes Sicherheitselement die Entscheidungen des KI-Agenten prüfen und notfalls unterbinden. Dieses Prinzip wird auch „Human in the Loop“ genannt. Doch Menschen in den Entscheidungsprozess von KI einzubinden, reicht nicht mehr aus, um Sicherheit zu gewährleisten. Agenten handeln in Maschinengeschwindigkeit und deshalb breiten sich Fehler schneller über Systeme aus, als ein Mensch sie begreifen, geschweige denn manuell identifizieren oder korrigieren kann. Äußerlich sehen diese Fehler oft korrekt aus. Doch ehe man sich versieht, entstehen Kollateralschäden in Form von verlorenen gegangenen Transaktionen, unterbrochenen Arbeitsabläufen und zahlreichen Betriebsstörungen.
Ein „Human in the Loop“ genügt also nicht mehr als Kontrollinstanz, denn bis ein Fehler entdeckt wird, ist es zu spät, um den Weg des Agenten durch die Systeme zurückzuverfolgen. Dann bleibt keine andere Option als ein harter System-Reset. Der verursacht aber oft noch mehr Störungen und Kosten als der ursprüngliche Fehler. Für menschliche Fehler gibt es eine Return-Taste und es ist höchste Zeit für ein KI-Äquivalent. Das bedeutet auch einen Paradigmenwechsel für Notfallpläne: Statt vollumfassender, lähmender System-Wiederherstellung brauchen Unternehmen präzise, änderungsbasierte Datenwiederherstellung.
Gegen Maschinengeschwindigkeit kommen Menschen nicht an
Nach letzten Erhebungen von McKinsey experimentieren derzeit über 60 % der Unternehmen mit KI-Agenten. Und „experimentieren“ ist hier das bedenkliche Schlüsselwort. Die meisten Unternehmen setzen die Technologie ein, ohne die Auswirkungen der Agenten auf den Betrieb vollständig zu erfassen. Bereits jetzt verfügen 97 % der Agenten über übermäßige Berechtigungen, die Chaos auslösen könnten. Schon eine einzige Fehlentscheidung aufgrund fehlerhafter Daten könnte dazu führen, dass ein Agent versehentlich innerhalb von Sekunden eine gesamte Produktionsdatenbank und alle Backups löscht. Das ist keine Übertreibung, es ist bereits passiert.
Diese Verlagerung des Risikos geschah nicht über Nacht. Als Unternehmen zu Beginn lediglich mit LLMs experimentierten, hätte ein Human-in-the-Loop-Ansatz ausgereicht, um sicherzustellen, dass fehlerhafte Ergebnisse herausgefiltert wurden. Heute ist das schlicht unmöglich. Agenten agieren nicht nur schneller, als es der menschliche Verstand überhaupt begreifen kann. Mittlerweile sind sie menschlichen Mitarbeitern, die sie eigentlich kontrollieren sollen, auch zahlenmäßig überlegen. Schätzungen zufolge übersteigt die Anzahl der nicht-menschlichen Identitäten in einem durchschnittlichen Unternehmen die der menschlichen Mitarbeiter im Verhältnis 82:1. Diese Veränderung erfordert nicht nur eine Aktualisierung der Sicherheitsmaßnahmen, sondern ein völlig neues Konzept.
Zero-Human, Zero-Trust
Es geht nicht nur darum, was diese Agenten tun können, sondern auch darum, worauf sie zugreifen können. KI-Agenten, insbesondere solche mit uneingeschränkten Berechtigungen, können auf alle Daten im Ökosystem eines Unternehmens zugreifen, einschließlich der unstrukturierten Daten, die meist vergessen werden. Unzählige Chat-Verläufe, falsch kategorisierte Dateien und veraltete, redundante Dokumente stehen den Agenten dann offen zur Verfügung. Für diese Daten existieren womöglich Governance- und Kontrollmaßnahmen, doch sind diese wahrscheinlich nie auf KI-Workflows ausgelegt gewesen.
Traditionelle Architekturen wie Zero-Trust wurden für menschliche Nutzer konzipiert, die Geräte verwenden, deren Zugriff innerhalb definierter Perimeter geregelt werden kann. KI-Agenten, die mit maschineller Geschwindigkeit direkt auf die Daten zugreifen, können sie jedoch nicht in Schach halten. Denn diese umgehen jegliche endpunkt- und identitätszentrierten Governance-Maßnahmen vollständig. Ganz zu schweigen von den unzähligen „Schatten“-KI-Agenten, die Unternehmen nur schwer nachverfolgen und kontrollieren können.
Systembasierte Sicherheitsansätze wie Zero-Trust müssen sich daher weiterentwickeln und granularer werden. Anstatt Sicherheitsmaßnahmen oberflächlich auf die Daten aufzulegen, müssen sie durch Klassifizierung und Maskierung in die Daten selbst eingebettet werden. Auf diese Weise werden Richtlinien durchgesetzt, noch bevor ein KI-Agent überhaupt Zeit hat, zu handeln.
Agenten-Fehler brauchen präzise Korrektur statt grober Rollbacks
Das Gleiche gilt für umfassende Wiederherstellungsprozesse. Sich auf eine Kombination aus „Human in the Loop“-Verfahren und systemweiten Wiederherstellungen zu verlassen, ist im Zeitalter der agentenbasierten KI schlichtweg nicht mehr tragbar. Diese pauschalen Rollbacks sind kostspielig und verursachen oft Kollateralschäden, die die Kosten des ursprünglichen Fehlers übersteigen und denen es an Präzision fehlt.
Da KI-Agenten immer stärker in die Geschäftsabläufe eingebunden werden, müssen Unternehmen generell auf einen änderungsorientierten Wiederherstellungsprozess umstellen. Mithilfe von Zuordnungen erfasster Objekte oder Änderungen auf Datensatzebene mitsamt der zugehörigen Abhängigkeiten, können Unternehmen genau identifizieren, was der Agent verändert hat, und nur diese Aktionen rückgängig machen. So nimmt man ein Rollback mit Präzision vor, bei dem nur das rückgängig gemacht wird, was geändert werden muss. Natürlich werden weiterhin Fehler auftreten, so lange neu eingeführte KI-Agenten lernen. Unternehmen sollten also mit einem vollständigen Rollback infolge eines Fehltritts eines Agenten rechnen und entsprechend vorbereitet sein.
Sicherheitsverantwortliche sollten diese Maßnahmen schnellstmöglich einführen, um derartige Fehler zu verhindern. Denn die Schlagzeilen diverser Sicherheitsvorfälle im Zusammenhang mit KI-Agenten zeigen, dass Agenten nicht dieselben Fehler machen wie Menschen. Sie versenden nicht nur eine falsche E-Mail, sondern können den Betrieb eines ganzen Unternehmens zum Erliegen bringen. Das bedeutet nicht, dass „Human-in-the-Loop“-Governance passé ist. Menschen sollten weiterhin die Aufsicht behalten. Aber um Sicherheitsrisiken im Zusammenhang mit KI-Agenten effektiv senken, müssen sie durch präzise Wiederherstellungsmaßnahmen unterstützt werden. Nicht nur, um die Betriebskosten zu minimieren, sondern vor allem, um agentenbasierter KI für den erfolgreichen Einsatz vertrauen zu können. Mit präzisen Wiederherstellungsmaßnahmen ist ein KI-Fehler keine unternehmensweite Katastrophe, sondern lediglich eine kleine Korrektur, um wieder auf Kurs zu kommen.
Von Rick Vanover, VP für Produktstrategie bei Veeam Software
