Check Point Research (CPR) hat in einem neuen Bericht die wichtigsten KI-Zwischenfälle aus den Monaten Juli und August analysiert. Dabei haben die Forscher sowohl die Ausbrüche von Testmodellen bekannter KI-Anbieter als auch KI-gesteuerte Angriffe von Cyberkriminellen untersucht und die Ursachen, Abläufe und Folgen dieser Fälle festgehalten. Die Sicherheitsforschungsabteilung von Check Point Software Technologies hat die Ergebnisse in ihrem neuen „AI Threat Landscape Digest“ festgehalten.
Wie die KI-Modelle aus ihren Testumgebungen entkamen
Das Modell von OpenAI war eigentlich auf eine isolierte Testumgebung beschränkt, die nur mit einem internen Paket-Proxy verbunden war. Es entdeckte und nutzte jedoch völlig eigenständig eine bisher unbekannte Schwachstelle in diesem Proxy aus. So konnte es aus der Isolierung ausbrechen und die Produktionssysteme von Hugging Face erreichen. Was entstand, war eine Verkettung unabhängiger Aktionen, die Forscher später auf etwa 17.600 Schritte rekonstruierten. Die Evaluierungsumgebung von Anthropic wiederum war versehentlich über das Internet erreichbar. So konnten die Testmodelle Anmeldedaten sammeln und eine Produktionsdatenbank auslesen.
Bei Meta kam es zu einer ähnlichen Sicherheitslücke durch eine Fehlkonfiguration eines externen Evaluierers, und das britische AI Security Institute berichtete, dass Agenten in 122 kontrollierten Durchläufen 19 unbefugte Aktionen durchführten. Darunter war ein Fall, in dem ein Agent gefälschte Identitäten erstellte, um einen echten Open-Source-Entwickler davon zu überzeugen, bösartigen Code zu genehmigen.
KI-Modelle sind gleichermaßen Ziel und Initiator von Cyberangriffen
Die kriminelle Nutzung hat dieses Maß an Autonomie zwar noch nicht erreicht, doch wozu Cyberkriminelle bereits im Stande sind, ist bereits gefährlich genug und obendrein werden sie dabei immer kreativer. Gambit Security dokumentierte, dass ein Partner der Ransomware-Gruppe „The Gentlemen“ Claude-Code gegen mindestens sechs Organisationen einsetzte: Dabei wählte er ein älteres, weniger eingeschränktes Modell aus und eröffnete bei jeder Ablehnung eine neue Session, um die Autorisierung durchzusetzen. Daraufhin führte das Modell den Angriff eigenständig durch. Jadepuffer ging noch einen Schritt weiter und führte eine komplette Erpressung eigenständig durch, sobald ein Mensch den Vorgang gestartet hatte.
Doch KI-Modelle werden nicht nur für Angriffe instrumentalisiert, sie sind auch zunehmend selbst das Ziel krimineller Machenschaften. KI-Agenten für Coding und Unternehmens-Copiloten lesen Dateien, Pull-Anfragen und geteilte Inhalte meist als vertrauenswürdige Eingaben, und genau dieses Vertrauen ist nun ein neuer Einstiegspunkt. Ghostapproval beispielsweise ermöglicht es einem verseuchten Repository, mithilfe symbolischer Links einen Agenten dazu zu bringen, Dateien außerhalb seines Arbeitsbereichs zu schreiben. Konkret betroffen davon waren Googles Gemini-CLI und Anthropics Claude-Code, die beide Patches für CVEs benötigten, die durch ein böswilliges Github-Issue ausgelöst werden konnten. Die Suchfunktion von Microsoft-365-Copilot ist ein weiterer Fall und konnte Unternehmensdateien über einen einzigen manipulierten Link preisgeben. Forscher demonstrierten eine sich selbst verbreitende Prompt-Injektion in Microsoft-Word-Copilot. Auch die zugrunde liegende Lieferkette war ein Ziel: Mehr als 140 Mastra-AI-Framework-Pakete wurden mit Trojanern versehen, was der nordkoreanischen Gruppe „Sapphire Sleet“ zugeschrieben wurde. Bösartige LiteLLM-Veröffentlichungen legten Berichten zufolge Anmeldedaten von 2.500 Unternehmen offen.
Angreifer lernen zunehmend, den Entscheidungsprozess einer KI selbst zu manipulieren. Da Unternehmen immer mehr Aufgaben an Agenten und Copiloten delegieren, verlagert sich die Sicherheitsherausforderung vom Schutz der Systeme hin zum Schutz des maschinellen Urteilsvermögens. Vertrauenswürdigkeit und Widerstandsfähigkeit sind daher ebenso wichtig wie die Modellleistung.
Schwachstellensuche per KI sorgt für Flut an Patches
Das britische NCSC (National Cyber Security Centre) warnte vor einer bevorstehenden „Patch-Welle“, da die KI-gestützte Schwachstellensuche zunimmt, und es folgten direkt Rekordzahlen: Das Juli-Update von Microsoft enthielt 570 Korrekturen, das von Oracle sogar über 1.400. Doch die schnellere Entdeckung hat nicht zu mehr erfolgreichen Angriffen geführt: Nur etwa ein Prozent der durch KI entdeckten Schwachstellen wurden als ausgenutzt gemeldet. Der Engpass hat sich vom Auffinden der Schwachstelle hin zur Anwendung des Patches auf Kundensystemen verlagert.
Schwachstellen sind also nicht mehr schwer zu finden. Sie werden stattdessen immer zahlreicher, und daher ist es umso wichtiger, dass Anbieter Patches schnell bereitstellen. Die Geschwindigkeit beim Installieren von Patches und die automatisierte Behebung könnten für die Widerstandsfähigkeit eines Unternehmens letztlich wichtiger sein als die reine Anzahl der Schwachstellen.
Wie Unternehmen KI-Angriffe in Maschinen-Geschwindigkeit verhindern
Jede 36. Eingabe, die im Juli an generative KI-Tools gesendet wurde, etwa 2,8 Prozent, barg ein hohes Risiko für den Verlust sensibler Daten, und 88 Prozent der Unternehmen verzeichneten in diesem Monat mindestens eine Eingabe mit hohem Risiko. Dazu erfordern Modelle, die in Maschinengeschwindigkeit Angriffe durchführen, Reaktionszeiten, bei denen menschliche Verteidiger nicht mithalten können.
Die Absicherung der KI-Transformation in Unternehmen bedeutet daher die Sicherung des gesamten Stacks und sollte folgende Schritte umfassen:
- Transparenz über die KI-Nutzung der Belegschaft schaffen: Unternehmen sollten in Echtzeit nachvollziehen können, welche GenAI-Tools Mitarbeiter tatsächlich im Arbeitsalltag nutzen, und für diese Tools Governance- und Datenschutzregeln durchsetzen. Denn genau solche Tools werden auch von Angreifern wie der „Gentlemen“-Gruppe als Einfallstor genutzt.
- KI-Anwendungen und -Agenten im Unternehmen laufend überwachen: Von der Erkennung bis zur Durchsetzung zur Laufzeit sollten Schutzmaßnahmen gegen Prompt-Injections und unsichere Aktionen etabliert werden, um genau die Lücken zu schließen, die in bekannten Fällen bereits ausgenutzt wurden.
- Zugriff über MCP und andere Tool-Schnittstellen kontrollieren: Es muss klar geregelt sein, wie Modelle und Agenten mit Unternehmensdaten und -tools interagieren dürfen.
- KI-Systeme regelmäßig auf Schwachstellen testen: Adversariale Testmethoden, wie sie auch von KI-Laboren selbst zur Bewertung eingesetzt werden, helfen dabei, Schwachstellen zu identifizieren, bevor Angreifer sie finden.
- KI-Infrastruktur und private LLMs absichern: Da der Schwarzmarkt für Zugriffsrechte auf private Unternehmens-LLMs und GPU-Cluster zunehmend professionalisiert wird, braucht diese Infrastruktur denselben Schutzstandard wie andere kritische Systeme.
- Priorisieren, was tatsächlich ausnutzbar ist: Da nur ein Bruchteil der von KI-Tools identifizierten Schwachstellen in der Praxis wirklich ausnutzbar ist, sollten Unternehmen Verfahren einsetzen, die reale von rein theoretischen Risiken trennen, um Ressourcen gezielt auf die Behebung der relevanten Lücken zu konzentrieren.
Info: Weitere Details zum „AI Threat Landscape Digest“ finden sich hier: https://blog.checkpoint.com/artificial-intelligence/ai-models-broke-their-own-containment-key-findings-from-the-july-august-2026-ai-threat-landscape/
#CheckPoint
