Nachdem ein KI-Agent von OpenAI bei einem Sicherheitstest aus seiner kontrollierten Umgebung ausbrechen konnte, entwickelt das Unternehmen nun automatisierte Abschaltmechanismen. Das ist richtig – wirft aber eine viel grundsätzlichere Frage auf: Wer hat bei autonomen KI-Systemen eigentlich die Kontrolle und im Ernstfall den Finger auf dem Kill-Switch? Ein Kommentar von Sebastian Nerz, Co-Geschäftsführer bei Syss.
Technisch ist das Abschalten einer KI nicht das größte Problem. Entscheidend ist, zuverlässig zu erkennen, wann eingegriffen werden muss – und sicherzustellen, dass die Kontrollmechanismen dann tatsächlich greifen. Unternehmen dürfen sich dabei nicht allein auf Guardrails innerhalb der KI verlassen. Beschränkungen müssen außerhalb des Agenten technisch erzwungen werden, etwa über Zugriffsrechte, Netzwerkregeln und unabhängige Kontrollsysteme. Und genau das muss getestet werden: Die Autonomie von KI-Agenten und die Wirksamkeit ihrer Grenzen gehören künftig zwingend in den Pentest.
Für Europa ist das zugleich eine Frage der digitalen Souveränität. Wenn Modelle, Plattformen und zentrale Kontrollfunktionen von US-Anbietern abhängen, geben europäische Unternehmen im Zweifel einen Teil ihrer Handlungsfähigkeit aus der Hand. Gerade bei KRITIS, Verwaltung, Sicherheitsbehörden oder anderen sensiblen Bereichen brauchen wir deshalb europäisch kontrollierte Infrastrukturen und Kontrollumgebungen.
Unternehmen sollten jetzt prüfen, ob sie ihre KI-Agenten unabhängig vom Anbieter begrenzen und stoppen können. Die Politik wiederum sollte keine zentrale europäische Kill-Switch-Behörde schaffen, sondern verbindliche Anforderungen an Kontrollierbarkeit, Tests und Transparenz definieren und den Aufbau europäischer KI-, Open-Source- und Kontrolltechnologien gezielt fördern. Digitale Souveränität bedeutet bei KI eben nicht nur, wo Daten liegen – sondern auch, wer im Ernstfall die Kontrolle über die Systeme behält.“
#Syss
