In den letzten Tagen berichtete OpenAI, dass seine KI-Agenten einen Weg aus einer isolierten Forschungsumgebung gefunden und schließlich die Produktionsinfrastruktur von Hugging Face sowie, wie nun bekannt wurde, auch Modal Labs erreicht hatten. KI-Agenten hatten ihre Ziele auf eine Weise verfolgt, die die Verantwortlichen der Evaluierung nicht erwartet hatten. Diese Ereignisse verändern die Diskussion grundlegend.
Die vielleicht wichtigste Erkenntnis ist, dass Vertrauen über den Anbieter hinausgehen muss. Der Kontext macht den Vorfall besonders eindrucksvoll. OpenAI ist eine der verantwortungsbewusstesten Organisationen, die Frontier-AI-Modelle entwickeln. Die Bewertung wurde in einer stark isolierten Umgebung mit eingeschränktem Netzwerkzugang durchgeführt. Dennoch fand der Agent einen Weg, den niemand vorhergesehen hatte. Das macht die Lehre daraus besonders wichtig.
Denn diese Lehre lautet nicht, dass Sicherheitsfachleute Anbietern wie OpenAI weniger vertrauen sollten. Vielmehr ist es so, dass keine einzelne Plattform die gesamte Umgebung absichern kann, in der Agenten agieren.
KI-Agenten werden überall entwickelt: von Modellanbietern, SaaS-Anbietern, internen Entwicklerteams, Geschäftsteams, die Low-Code-Plattformen nutzen, und zunehmend auch von den Mitarbeitern selbst. Sie interagieren mit APIs, Unternehmensanwendungen, Cloud-Diensten, Dateien, MCP-Servern, Tools von Drittanbietern und Datenquellen, die sich über den gesamten Technologie-Stack erstrecken. Die Verantwortung verteilt sich über diese gesamte Landschaft und geht über die Sichtbarkeit und Kontrolle eines einzelnen Anbieters hinaus.
Genau das macht Agenten so leistungsfähig. Es ist auch der Grund, warum Plattformkontrollen, Sandboxing, Zugriffskontrollen und das Prinzip der geringsten Berechtigungen durch eine Sicherheitsebene ergänzt werden müssen, die auf die tatsächliche Arbeitsweise von Agenten zugeschnitten ist.
Sobald ein Agent Zugriff auf Tools und Daten hat und Entscheidungen systemübergreifend treffen kann, stellt sich eine andere Frage. Die Sicherheit muss technische Berechtigungen und kontextbezogene Angemessenheit gemeinsam bewerten. Ein Assistent kann eine Aktion empfehlen. Ein Agent kann sie ausführen. Bis ein Sicherheitsteam die Entscheidung anhand eines Protokolls rekonstruiert hat, kann die Konsequenz bereits eingetreten sein.
In der Runtime muss die Sicherheit entscheiden, ob die nächste Aktion eines Agenten stattfinden soll, und zwar bevor die Aktion ausgeführt wird. Genau darauf müssen sich Sicherheitsmaßnahmen konzentrieren. Sicherheitsteams müssen Agenten auf unterstützten Cloud- und Low-Code-Plattformen erkennen. Außerdem müssen sie Risiken über Tools, Fähigkeiten, MCP-Server und verbundene Komponenten hinweg bewerten sowie Eingabeaufforderungen, Modellantworten, externe Inhalte, Tool-Aufrufe und Aktionen im Kontext bewerten. Im nächsten Schritt können Richtlinien durchgesetzt werden, bevor sensible Daten offengelegt oder eine unsichere Aktion ausgeführt wird.
Runtime-Security erweitert die Kontrollmechanismen, auf die sich Unternehmen bereits verlassen, bis zu dem Punkt, an dem KI den Kontext in eine Entscheidung umwandelt. Berechtigungen legen fest, was ein Agent tun darf. Runtime-Security bestimmt, ob er es jetzt tun soll.
Das ist auch der Grund, warum Sicherheit, Zuverlässigkeit, Beobachtbarkeit und Governance zunehmend zusammenwachsen. Für einen Agenten treffen diese Disziplinen bei derselben Laufzeitentscheidung aufeinander. Eine Aktion kann technisch gültig, aber unsicher sein, erfolgreich ausgeführt werden, aber gegen Richtlinien verstoßen, oder erst vollständig protokolliert werden, nachdem der Schaden bereits entstanden ist.
Unternehmen sollten trotz der Diskussionen weiter in ihre KI-Transformation investieren. Diejenigen, die lernen, wie man Agenten sicher einsetzt, werden einen bedeutenden Wettbewerbsvorteil haben. Schnelles Handeln erfordert einen verantwortungsbewussten Modellanbieter und Kontrollmechanismen, die sich über jedes System erstrecken, mit dem der Agent in Berührung kommt.
Für Sicherheitsverantwortliche besteht der praktische Ausgangspunkt darin, zu wissen, welche Agenten existieren, zu verstehen, mit welchen Systemen sie sich verbinden, zu definieren, was sie tun dürfen, und die Durchsetzung in den Weg zwischen einer vorgeschlagenen Aktion und ihrer Ausführung einzubauen. Anschließend müssen diese Kontrollmechanismen kontinuierlich getestet werden, da sich Modelle, Eingabeaufforderungen, Tools und Berechtigungen ändern.
Die Vorfälle bei Hugging Face und Modal Labs hat die bereits bestehende Notwendigkeit für die Sicherheit von KI-Agenten zu einem Thema gemacht, das man nicht mehr ignorieren kann.
Technologiemärkte kündigen ihre Wendepunkte selten offiziell an. Manchmal wird der Wandel deutlich, wenn eine EC2-Instanz zum ersten Mal gestartet wird, wenn das erste Uber-Taxi auftaucht oder wenn ein Waymo selbstständig fährt. Diese Momente lassen eine zuvor abstrakte Zukunft unmittelbar greifbar werden. Für die KI-Sicherheit ist dies einer dieser Momente. Die Vorfälle haben gezeigt, wie ein Ziel, ausreichende Fähigkeiten und ein unerwarteter Weg zu einem Sicherheitsvorfall führen können, ohne dass böswillige Absicht vorliegt.
Vertrauen in einen KI-Agenten bedeutet, sich auf Wege vorzubereiten, die über die von seinen Entwicklern beabsichtigten hinausgehen – mit Kontrollmechanismen, die auch dann noch greifen, wenn der Agent einen solchen Weg einschlägt.
Von Adam Ely, General Manager für AI Security bei Check Point
