Check Point Software Technologies beschreibt ein zentrales Problem moderner KI-Sicherheit: Ein bestandener Sicherheitstest ist kein dauerhafter Nachweis für Sicherheit. Er gilt nur für ein bestimmtes System, eine konkrete Konfiguration und einen bestimmten Zeitpunkt. Produktive KI-Systeme verändern sich jedoch laufend: Modelle passen ihr Verhalten an, Prompts werden überarbeitet, Retrieval-Quellen kommen hinzu, Agenten erhalten neue Tools und Nutzer bringen unerwarteten Kontext ein. Gleichzeitig entwickeln auch Angreifer ihre Methoden weiter. Ergo: KI-Sicherheit erfordert kontinuierliches Red-Teaming.
Wichtigste Erkenntnisse
- KI-Sicherheit lässt sich nicht durch einen einmaligen Test abschließen.
- NIST-Senior Scientist Apostol Vassilev kommt in „Robust AI Security and Alignment: A Sisyphean Endeavor?“ zu dem Schluss, dass keine endliche Menge von Guardrails universell robust gegen böswillige Prompts sein kann.
- Entscheidend ist ein kontinuierlicher Kreislauf aus Discover → Threat Model → Red Team → Prioritize → Harden → Protect → Monitor → Re-test.
- Tests, Monitoring und Schutzmaßnahmen müssen miteinander verbunden sein, damit Erkenntnisse aus Angriffssimulationen direkt in bessere Kontrollen überführt werden.
Warum KI-Sicherheit ein kontinuierlicher Prozess bleibt
KI-Sicherheitsprogramme können nicht wie klassische Prüfprozesse behandelt werden, bei denen ein Finding geschlossen und ein Release freigegeben wird. Durch den Einsatz natürlicher Sprache können Angreifer ihre schädlichen Absichten nahezu unbegrenzt verschleiern. Dies kann beispielsweise durch Rollenspiele, indirekte Anweisungen, mehrstufige Dialoge, ungewöhnliche Formulierungen, andere Sprachen oder externe Kontexte erfolgen. Bei KI-Agenten können Angriffe zusätzlich über Dokumente, E-Mails, Webseiten, APIs oder angebundene Tools erfolgen.
Deshalb reicht es nicht aus, bekannte Jailbreaks oder einzelne Prompt-Injection-Pfade zu blockieren. Ein bestandener Test zeigt nur, dass bekannte Risiken zu diesem Zeitpunkt beherrscht wurden. Er beweist jedoch nicht, dass ein System auch gegen unbekannte Prompts, neue Kontexte oder veränderte Angriffspfade geschützt bleibt.
Red-Teaming – Sicherheit als beständiger Kreislauf
Die Konsequenz ist ein Betriebsmodell, das KI-Sicherheit als fortlaufenden Prozess betrachtet. Red-Teams müssen aktiv nach Prompts und Angriffspfaden suchen, durch die ein System seine vorgesehenen Grenzen überschreiten kann. Ein Finding sollte anschließend eine konkrete Verbesserung auslösen, beispielsweise eine überarbeitete Richtlinie, eingeschränktere Berechtigungen, eine angepasste Datenquelle, aktualisierte Guardrails, neue Runtime-Kontrollen oder veränderte Arbeitsabläufe. Der gefundene Angriffspfad sollte danach Teil der Regressionstests werden, damit dieselbe Schwachstelle nicht erneut auftritt.
Gleichzeitig müssen Organisationen davon ausgehen, dass nicht jeder Angriff verhindert werden kann. Deshalb ist operative Resilienz erforderlich: Systeme müssen verdächtiges Verhalten erkennen, Auswirkungen begrenzen, Beweise sichern und schnell wiederhergestellt werden können.
Von Red-Teaming zu Schutz im laufenden Betrieb
Red-Teaming zeigt auf, was gestoppt werden muss. Runtime Security ermöglicht es, Risiken während des Betriebs zu begrenzen. Werden im Rahmen von Tests Datenabfluss, Tool-Missbrauch oder schädliche Anweisungen über vertrauenswürdige Inhalte sichtbar, müssen diese Erkenntnisse in konkrete Schutzmaßnahmen überführt werden.
Die Check.Point-AI-Defense-Plane verbindet dazu Discovery, Protection, Governance und Assurance über Mitarbeitende, KI-Anwendungen und Agenten hinweg. Assurance testet kontinuierlich, ob Systeme und Kontrollen sicher reagieren. Runtime-Protection greift dort, wo Prompts, Daten, Outputs, Tool-Calls und Agentenaktionen Produktionsrisiken erzeugen. „Governance“ definiert Richtlinien und Grenzen, während „Discovery“ sichtbar macht, wo KI eingesetzt wird und worauf sie zugreifen kann.
Fazit
Die Forschung von NIST ist keine Absage an die KI-Sicherheit, sondern an die Vorstellung, dass ein einzelner Test ein KI-System dauerhaft als sicher bestätigen könne. Die entscheidende Frage ist nicht mehr, ob ein KI-System dauerhaft abgesichert werden kann. Vielmehr ist entscheidend, ob Organisationen Schwachstellen schneller entdecken, Schutzmaßnahmen schneller verbessern und Auswirkungen schneller reduzieren können, als Angreifer sich anpassen.
#CheckPoint
