
- Die erste Bewertung erfolgt durch die Einstufung des Risikoniveaus des KI-Systems. Die Verpflichtungen des EU-AI-Acts richten sich dabei in erster Linie an Systeme mit hohem Risiko, für die die strengsten Anforderungen gelten.
- Die zweite Bewertung legt fest, ob das KI-System als transparenzpflichtiges System eingestuft wird oder nicht. Wichtig hierbei: Die Transparenzanforderungen gelten für KI-Systeme unabhängig von ihrem Risikoniveau
Verbotene KI-Systeme: Der erste Schritt bei der Bewertung des Risikoniveaus eines KI-Systems besteht darin zu prüfen, ob es unter die in Artikel 5 des EU-AI-Acts aufgeführten verbotenen Kategorien fällt. Diese Verbote dienen dem Schutz der Privatsphäre, der Grundrechte und der öffentlichen Sicherheit, mit einigen eng definierten Ausnahmen. Zu den wichtigsten Verboten gehören:
- Unterschwellige, manipulative oder täuschende Techniken: KI-Systeme, die heimlich die bewusste Entscheidungsfindung von Personen beeinflussen, wodurch erheblicher Schaden entstehen kann.
- Ausnutzung von Schwachstellen: KI, die Personen aufgrund ihrer Vulnerabilität wie Alter, Behinderung oder sozioökonomischen Verhältnissen ins Visier nimmt, um schädlichen Einfluss auszuüben.
- Biometrische Kategorisierungssysteme: Systeme, die Personen auf Grundlage sensibler persönlicher Daten kategorisieren, wie zum Beispiel ethnische Zugehörigkeit, Religion oder politische Überzeugungen, mit wenigen rechtmäßigen Ausnahmen.
- Social Scoring: KI, die von Behörden eingesetzt wird, um Bewertungen auf der Grundlage von sozialem Verhalten oder Persönlichkeitsmerkmalen vorzunehmen, mit negativen Auswirkungen für Personen mit niedrigem Score.
- Biometrische Identifizierung in Echtzeit: Systeme, die von Strafverfolgungsbehörden im öffentlichen Raum zur Identifizierung von Personen in Echtzeit eingesetzt werden, außer in eng definierten Situationen, etwa bei unmittelbarer Bedrohung oder schwerwiegenden strafrechtlichen Ermittlungen.
- Biometrische und Emotionserkennungssysteme: KI-Systeme, die zur biometrischen Identifizierung und Kategorisierung natürlicher Personen eingesetzt werden oder zur Erkennung deren Emotionen.
- Kritische Infrastruktur: KI-Systeme, die zum Beispiel Versorgungsnetze oder Verkehrsnetze verwalten, da ihr Ausfall oder ihre Manipulation erhebliche Folgen für die öffentliche Sicherheit haben können.
- Bildung: KI-Anwendungen im Bildungswesen, einschließlich solcher, die für die Zulassung, Benotung und Verhaltensüberwachung von Schülern eingesetzt werden.
- HR und Arbeitnehmer-Management: KI-Systeme, die bei Einstellungsverfahren von Mitarbeitern, deren Leistungsbewertungen und der Zuweisung von Aufgaben zum Einsatz kommen. Die Gewährleistung, dass diese Systeme unvoreingenommen und transparent arbeiten, ist entscheidend für den Schutz von Arbeitnehmerrechten.
- Private und öffentliche Dienstleistungen: KI-Anwendungen, die für die Verteilung von Sozialleistungen, Kreditwürdigkeitsprüfung und der Disposition von Notdiensten wie Polizei, Feuerwehr oder medizinische Hilfe eingesetzt werden.
- Strafverfolgung: KI-Systeme, die für die Erstellung von Kriminalitätsprofilen, die Analyse von Beweismitteln und die vorhersagende Polizeiarbeit genutzt werden. Es gelten strenge Vorschriften, um Missbrauch zu verhindern und die Rechte des Einzelnen zu schützen.
- Migration und Grenzkontrolle: KI-Anwendungen in der Migrations- und Grenzkontrolle, einschließlich Risikobewertungen und Instrumenten zur Dokumentenüberprüfung. Diese Systeme müssen transparent und fair arbeiten, um die Rechte des Einzelnen zu wahren.
- Gerichtsprozesse: KI-Systeme, die die Bewertung von Beweisen, die Auslegung von Gesetzen und die Beilegung von Streitigkeiten unterstützen. Um das Vertrauen in das Justizsystem aufrechtzuerhalten, muss sichergestellt werden, dass diese Systeme genau und transparent sind.
Schöpfer synthetischer Inhalte: KI-generierte Inhalte – ob Audio, Video, Bilder oder Text – müssen mit einer Kennzeichnung versehen werden. Diese sollte maschinenlesbar sein, auch wenn es Ausnahmen gibt, wie etwa redaktionelle Tools oder eine Verwendung durch Strafverfolgungsbehörden.