GenAI- und LLM-Risiken – von der Entwicklung bis zur Bereitstellung – eliminieren

Künstliche Intelligenz verändert Unternehmen grundlegend. Von der Automatisierung des Kundenservice bis zur Beschleunigung der Codegenerierung – große Sprachmodelle (LLMs) werden immer schneller in die Geschäftsabläufe und Wettbewerbsstrategien von Unternehmen integriert. Doch während Unternehmen diese Innovation begrüßen, öffnen sie damit auch Tür und Tor für neue, schwer zu erkennende Risiken.

Laut einer aktuellen Studie sind 72 % der CISOs besorgt [metomic.io], dass generative KI-Sicherheitslücken in ihrer Umgebung verursachen könnte. Und da fast 70 % der Unternehmen planen, LLMs innerhalb des nächsten Jahres in der Produktion einzusetzen, wächst die Kluft zwischen KI-Innovation und KI-Sicherheit rapide.

Im Zentrum dieser Herausforderung steht die sich ständig weiterentwickelnde Angriffsfläche für KI. Die heutigen Bedrohungen reichen von Prompt-Injection-Angriffen und dem Diebstahl sensibler Daten bis hin zu Modelldiebstahl und multimodalen Exploits, die in Bild-, Audio- oder Videodateien versteckt sind. Und da viele Sicherheitsteams noch immer keinen Überblick darüber haben, wo KI-Modelle eingesetzt werden – oder ob sie überhaupt in der Umgebung vorhanden sind –, werden Risiken oft erst entdeckt, wenn der Schaden bereits entstanden ist.

Lösung der Krise in Bezug auf Transparenz und Kontrolle in der KI-Sicherheit

Die erste Herausforderung, vor der die meisten Unternehmen stehen, ist nicht nur die Verwaltung von KI-Risiken, sondern deren Erkennung. Noch bevor sie sich um Schatten- oder vergessene LLMs kümmern müssen, fehlt vielen Sicherheitsteams eine grundlegende Bestandsaufnahme der bereits verwendeten KI-Modelle. Heute betrifft das Problem sowohl bekannte als auch unbekannte Modelle, wobei grundlegende Transparenz von Anfang an fehlt. Sicherheitsverantwortliche berichten uns, dass sie neue oder nicht genehmigte KI-Assets oft erst nach Audits, Vorfällen oder Verstößen entdecken – während sie sich mit fragmentierten Tools herumschlagen, die zwar verstreute Daten liefern, aber kaum verwertbare Erkenntnisse.

Qualys-TotalAI wurde entwickelt, um die Herausforderung der Sicherung aller Arten von LLMs in Ihrem Unternehmen zu bewältigen. Die Lösung bietet eine einheitliche Transparenz über die gesamte KI-Stack und identifiziert, wo Modelle ausgeführt werden, welche Pakete und Hardware sie unterstützen und welche Schwachstellen oder Risiken bestehen. Die Fingerprinting-Funktionen umfassen Software, GPUs und LLM-Endpunkte in lokalen und Multi-Cloud-Umgebungen.

Aber Transparenz ist nur der Anfang. In der heutigen KI-Landschaft ist proaktiver Schutz von entscheidender Bedeutung.

Entwickelt für die Realitäten von KI-Risiken

Die mit KI und LLMs verbundenen Risiken sind nicht mehr theoretischer Natur – sie sind bereits Realität. In einem eindrucksvollen Beispiel manipulierten Hacker mithilfe eines KI-Chatbots die Preisberechnungsmaschine eines Autohauses und erwarben einen brandneuen SUV für nur 1 US-Dollar. Dieser Angriff richtete sich zwar gegen ein bestimmtes Unternehmen, doch die allgemeine Taktik – die Nutzung bösartiger Eingabeaufforderungen, um das Verhalten von Modellen auszunutzen – wird zu einer ernsthaften Bedrohung für ganze Branchen.

Andere Angriffe aus der Praxis eskalieren rapide. In einer kürzlich durchgeführten Kampagne mit dem Namen „LLMjacking [infosecurity-magazine.com]“ stahlen Angreifer Cloud-Authentifizierungsdaten, um KI-Ressourcen von Unternehmen zu kapern und die gestohlene Rechenleistung zu Geld zu machen. In ähnlicher Weise wurden Hacker dabei erwischt, wie sie auf Dark-Web-Marktplätzen illegalen Zugriff auf Azure-gehostete LLM-Dienste [darkreading.com] verkauften und damit kritische Cloud-Umgebungen für unbefugte Benutzer, Diebstahl geistigen Eigentums und Compliance-Verstöße gefährdeten.

Ohne geeignete Tests und ein Risikomanagement sind Unternehmen echten Risiken ausgesetzt – von kompromittierten Preismodellen über gekaperte Cloud-basierte KI-Infrastrukturen bis hin zu manipulierten Kundenplattformen.

Aus diesem Grund ist Qualys-TotalAI anders aufgebaut. Im Gegensatz zu herkömmlichen Schwachstellenscannern wurde TotalAI speziell für die besonderen Herausforderungen von KI-Risiken entwickelt. Es geht über grundlegende Infrastrukturbewertungen hinaus und testet Modelle direkt auf Jailbreak-Schwachstellen, Verzerrungen, Offenlegung sensibler Informationen und kritische Risiken, die den OWASP-Top-10 für LLMs zugeordnet sind.

Die Ergebnisse werden mithilfe von MITRE-ATLAS mit realen Angriffstaktiken abgeglichen und dann automatisch durch die Qualys Trurisk-Bewertungsengine priorisiert, sodass Teams im gesamten Unternehmen schnell die dringendsten und geschäftskritischsten Risiken identifizieren können.

Durch diesen risikoorientierten Ansatz findet TotalAI nicht nur KI-spezifische Schwachstellen, sondern hilft Teams auch, diese schneller zu beheben, die Betriebsstabilität zu schützen und das Vertrauen in die Marke zu erhalten, während die KI in allen Branchen immer schneller Einzug hält.

Wichtige neue Updates in Qualys TotalAI

Mit den neuesten wichtigen Updates baut TotalAI seine Führungsposition bei der Sicherung von LLMs über die gesamte Pipeline hinweg aus:

• Interner On-Premises-LLM-Scanner: Unternehmen können nun umfassende Sicherheitstests ihrer LLMs durchführen, die lokal mit internem Zugriff gehostet werden, ohne die Modelle nach außen offenzulegen. Mit den neuesten Funktionen des internen LLM-Scanners von TotalAI können Kunden Modell-Sicherheitstests manuell in ihre CI/CD-Workflows integrieren. Dieser Shift-Left-Ansatz ermöglicht es Engineering-Teams, Jailbreak-Schwachstellen, Datenlecks und Modellfehlanpassungen frühzeitig im Entwicklungszyklus zu erkennen, sodass sie mehr Zeit für das erneute Trainieren und Absichern der Modelle vor der Bereitstellung haben – und das alles unter vollständiger Kontrolle hinter den Firewalls des Unternehmens.
• Erweiterte Jailbreak-Erkennung: TotalAI erkennt nun insgesamt mehr als 38 Jailbreak- und Prompt-Manipulations-Angriffsszenarien, wobei in der neuesten Version 12 weitere Angriffe hinzugefügt wurden. Diese erweiterten Techniken simulieren reale Angriffstaktiken – darunter Prompt-Injektionen, Content-Evasion, mehrsprachige Exploits und Bias-Amplification – und helfen Unternehmen dabei, ihre LLMs zu harden und Angreifer daran zu hindern, Outputs zu manipulieren oder Modellschutzmaßnahmen zu umgehen. Mit der kommenden Version wird TotalAI die Abdeckung noch weiter auf insgesamt 40 Jailbreak-Szenarien ausweiten.
• Schutz der KI-Lieferkette: Da KI-Systeme zunehmend auf externe Modelle, Bibliotheken und Code-Pakete angewiesen sind, ist die Lieferkette zu einem kritischen Angriffsvektor geworden. TotalAI führt eine kontinuierliche Überwachung ein, um Package-Halluzinationsangriffe zu erkennen, bei denen LLMs dazu gebracht werden, nicht vorhandene (aber bösartige) Pakete von Drittanbietern zu empfehlen. Durch die frühzeitige Erkennung und Blockierung dieser Bedrohungen können Unternehmen Modelldiebstahl verhindern, die Softwareintegrität aufrechterhalten und sensible Daten vor unbefugter Exfiltration oder Manipulation schützen.
• Multimodale Bedrohungsabdeckung: In der heutigen KI-Umgebung kommen Bedrohungen nicht nur in Form von Text. Die verbesserte multimodale Erkennung von TotalAI identifiziert Prompts oder Störungen, die in Bild-, Audio- und Videodateien versteckt sind und dazu dienen, die Ausgaben von LLMs zu manipulieren. Dies hilft Unternehmen, sich vor subtilen, modalitätsübergreifenden Exploits zu schützen und sicherzustellen, dass Modelle keine privaten Informationen preisgeben, keine unsicheren Ausgaben produzieren oder sich unvorhersehbar verhalten, wenn sie auf manipulierte Medieneingaben stoßen.
• Universelles Endpunkt-Scanning: Angesichts der explosionsartigen Zunahme von KI-Dienstleistern ist es unerlässlich, Modelle unabhängig von ihrem Hosting-Standort zu schützen. TotalAI bietet jetzt mit einem Klick Sicherheitsbewertungen für alle LLM, die eine OpenAI-kompatible Chat-Vervollständigungs-API offenlegen, darunter AWS Bedrock, Azure AI, Hugging Face, Google Vertex AI und selbst gehostete Bereitstellungen. Dies ermöglicht eine skalierbare, konsistente Risikoüberwachung in verschiedenen KI-Umgebungen und hilft Unternehmen dabei, eine einheitliche Sicherheitslage aufrechtzuerhalten, unabhängig davon, ob die Modelle in der öffentlichen Cloud, in der privaten Cloud oder vor Ort gehostet werden.

Mit diesen Verbesserungen wird TotalAI zur branchenweit umfassendsten Lösung für die Sicherung des KI-Lebenszyklus – von der frühen Entwicklung bis zur Bereitstellung in der Praxis.

Vorteile für Kunden

Diese wichtigen neuen Verbesserungen bringen konkrete Vorteile für Sicherheits-, Entwicklungs- und Compliance-Teams:

• Schnellere und sicherere Entwicklung von KI-Anwendungen: Mit dem internen Onpremise-Scanner können Teams die Sicherheit nach links verlagern und Modellrisikobewertungen früher in die CI/CD-Pipeline einbetten, wodurch sowohl die Agilität als auch die Sicherheitslage verbessert werden.
• Nahtlose Integration für bestehende Kunden: Unternehmen, die bereits Qualys-Scanner oder -Agenten einsetzen, können die LLM- und KI-Sicherheitsfunktionen von TotalAI problemlos integrieren, ohne die Infrastruktur neu aufbauen oder neu bereitstellen zu müssen. Dies beschleunigt die Amortisationszeit und gewährleistet gleichzeitig die Datenhoheit und -kontrolle.
• Umfassender MLOps-Schutz: Durch die Sicherung der KI-Infrastruktur und der LLMs über die gesamte Pipeline hinweg – von der Entwicklung bis zur Bereitstellung – reduziert TotalAI das Risiko von Schwachstellen und gewährleistet die Einhaltung gesetzlicher Vorschriften.
• Verbesserter Schutz vor neuen KI-Bedrohungen: Dank erweiterter Jailbreak- und multimodaler Erkennung sind Unternehmen vor neuen Angriffen geschützt, die darauf abzielen, KI-Modelle zu manipulieren, Daten zu exfiltrieren oder KI-Modelle als Waffen einzusetzen.

Das Ergebnis: eine sichere Grundlage für KI-Innovationen, unterstützt durch kontinuierliche Risikosichtbarkeit, proaktive Abwehr und nahtlose operative Integration.

Warum das jetzt wichtig ist

Da jedes Unternehmen zu einem KI-Unternehmen wird, steht mehr denn je auf dem Spiel. Unternehmen müssen schnell handeln, um nicht nur ihre Modelle, sondern auch die Infrastruktur, den Code und die Prozesse, die sie unterstützen, zu sichern. Eine Verzögerung des KI-Risikomanagements kann zu Reputationsschäden, regulatorischen Strafen und Geschäftsunterbrechungen führen.

TotalAI bietet die Transparenz, Intelligenz und Automatisierung, die Sie benötigen, um immer einen Schritt voraus zu sein. Es beseitigt blinde Flecken, ermöglicht schnellere Behebung von Problemen und lässt sich nahtlos in die umfassendere Qualys Cloud Platform integrieren – so wird KI-Sicherheit in Ihre allgemeine Cybersicherheitsstrategie eingebunden.

KI steigert die Effizienz von Unternehmen auf verschiedenen Ebenen. Kunal Modasiya, Vice President, Produktmanagement, Totalcloud-CNAPP, Angriffsflächenmanagement und AppSec bei Qualys: „Lassen Sie nicht zu, dass Sicherheitslücken zum Scheitern führen. Entdecken Sie Qualys-TotalAI und erfahren Sie, wie Sie Ihre Modelle, Infrastruktur und Innovationspipeline schützen können – von der Entwicklung bis zur Bereitstellung.“

#Qualys