Generative KI wird in der Sicherheitsbranche immer stärker thematisiert. CISOs und CIOs betrachten das Thema generative KI mit Begeisterung, aber auch mit etwas Sorge. Während Mitarbeiter bei ihrer täglichen Arbeit bereits generative KI einsetzen, sei es bei der Bearbeitung von E-Mails oder beim Schreiben von Blogs, haben CISOs Bedenken, generative KI in ihren Tech-Stack zu integrieren. CISOs benötigen generative KI, um akkurat, sicher und verantwortungsvoll vorgehen zu können. Aber wird die heutige Technologie ihren hohen Ansprüchen gerecht?
CISOs und CIOs erkennen die Fähigkeit der generativen KI, die Produktivität zu steigern oder IT- und Sicherheitsteams, die vom anhaltenden Fachkräftemangel betroffen sind, zu stärken. Diese Vorteile müssen jedoch sorgfältig gegen die neuen Risiken dieser transformativen Technologie abgewogen werden.
Neue KI-Tools steigern die Produktivität
Die Wahrscheinlichkeit ist groß, dass die Mitarbeiter eines Unternehmens bereits generative KI-Tools verwenden, um gängige Prozesse zu vereinfachen. Deshalb ist generative KI so attraktiv, sie steigert die Produktivität und erleichtert abteilungsübergreifend die Erledigung alltäglicher Aufgaben.
Warum also haben CISOs und CIOs Zweifel? Zunächst einmal werden viele der KI-Tools online gehostet oder basieren auf einer Online-Komponente. Die allgemeinen Geschäftsbedingungen enthalten möglicherweise wenig Klauseln in Bezug auf Vertraulichkeit, Sicherheit oder Compliance, die firmeneigene Daten oder Kundendaten, die die Belegschaft unter Umständen mit übermittelt, abdeckt. Außerdem könnten die übermittelten Daten für das KI-Training des jeweiligen Tools verwendet werden, was bedeutet, dass die Namen und Kontaktinformationen potenzieller Kunden dauerhaft gespeichert werden. Ein weiteres Problem ergibt sich daraus, dass KI-Modelle dazu neigen zu halluzinieren, das heißt sie geben mit Sicherheit falsche Informationen an. Aufgrund des Trainingsverfahrens dieser Modelle sind sie darauf konditioniert, Antworten zu geben, die richtig erscheinen, und nicht solche, die unbedingt richtig sind. Außerdem gibt es verschiedene urheberrechtliche Bedenken. Für Modelle, die Quellcode generieren, besteht beispielsweise das Risiko, dass diese versehentlich Code generieren, der Open-Source-Lizenzen unterliegt.
Das Potenzial für leistungsfähigere Produkte
Wir haben einige der wichtigsten Punkte gesammelt, mit denen sich CISOs und CIOs heutzutage auseinandersetzen sollten, bevor sie generative KI entweder als Tool für Mitarbeiter oder als Produktkomponente in ihren Umgebungen zulassen:
- Zunächst müssen Beschaffungsprozesse optimiert werden. Wenn Ingenieure Anbieter ausprobieren und diese privat bezahlen, stoßen Sie auf die oben genannten Vertraulichkeitsprobleme. Wenn eines der offenen Modelle verwendet wird, sollten Sie sicherstellen, dass die Rechtsabteilung die Möglichkeit hat, die Lizenz zu überprüfen. Viele generative KI-Modelle sind mit Nutzungsbeschränkungen verbunden, die sowohl die Art der Nutzung des Modells als auch die Verwendung der Ergebnisse des Modells betreffen. Viele dieser Lizenzen sehen zwar auf den ersten Blick wie Open-Source aus, sind es aber in Wirklichkeit nicht.
- Wenn eigene Modelle trainiert werden, wozu auch die Feinabstimmung offener Modelle gehört, muss in die Waagschale geworfen werden, welche Daten verwendet werden können und ob diese überhaupt geeignet sind. Was das Modell während des Trainings erkennt, kann zum Zeitpunkt der Inferenz wieder auftauchen. Hier müssen sich Unternehmen fragen, ob das im Einklang mit ihren Richtlinien zur Datenaufbewahrung steht. Wenn Unternehmen beispielsweise ein Modell auf Daten von Kunde A trainieren und Kunde B dieses Modell zur Inferenz verwendet, kann Kunde B einige Daten sehen, die für Kunde A spezifisch sind.
- Generative KI hat ihre eigene Angriffsfläche. Produktsicherheitsteams müssen nach neuen Arten von Angriffsvektoren suchen, z. B. nach indirekten Prompt-Injection-Angriffen. Wenn ein Angreifer einen beliebigen Eingabetext kontrollieren kann, der einem generativen Großsprachenmodell zur Verfügung gestellt wird – z. B. Informationen, die das Modell zusammenfassen soll -, dann kann er das Modell so verwirren, dass es diesen Text für neue Anweisungen hält.
- Zu guter Letzt müssen Unternehmen mit neuen Vorschriften Schritt halten. Überall auf der Welt werden neue Regeln und Rahmenwerke entwickelt, um die Herausforderungen der generativen KI zu bewältigen, wie beispielsweise der EU AI Act, das NIST AI Risk Management Framework und das White House Blueprint for AI Bill of Rights.
Eines ist sicher: Die generative KI ist auf dem Vormarsch, und sowohl die Mitarbeiter als auch die Kunden eines Unternehmens sind begierig darauf, das Potenzial dieser Technologie zu nutzen. Sicherheitsexperten haben jetzt die Möglichkeit, ein gesundes Maß an Besorgnis einzubringen, um eine verantwortungsvolle Einführung voranzutreiben, damit die Begeisterung von heute nicht morgen in Bedauern umschlägt. CISOs und andere Führungskräfte sollten sich die Zeit nehmen, sich zusammenzusetzen und über die Rolle von KI in ihrem Unternehmen und ihren Produkten zu diskutieren. Ein durchdachtes Vorgehen bei der Einführung von KI kann Unternehmen in die Lage versetzen, die Entwicklung zu beschleunigen und die eigene Zukunftsfähigkeit zu sichern.
Dr. Sven Krasser, Sr. Vice President, Chief Scientist at Crowdstrike
