Datenschutz im KI-Kundenservice – Worauf IT-Verantwortliche bei der Support-Automatisierung achten müssen

KI-Agenten übernehmen im Kundenservice inzwischen Aufgaben, die bis vor Kurzem Mitarbeitenden vorbehalten waren. Sie ändern Lieferadressen, stoßen Erstattungen an und rufen dafür Bestell- und Kundendaten aus angebundenen Systemen ab. Für IT- und Datenschutzverantwortliche ändert das die Prüffragen. Wie gut ein Sprachmodell formuliert, ist zweitrangig. Wichtiger ist, welche personenbezogenen Daten es zu sehen bekommt, wohin sie fließen und wer am Ende eine Entscheidung trifft. Seit dem 2. August 2026 kommen die Transparenzpflichten der europäischen KI-Verordnung hinzu.

Welche Daten ein Support-Agent tatsächlich verarbeitet

Ein automatisierter Service arbeitet mit Kontaktdaten, Lieferanschriften, Bestellhistorien und Zahlungsstatus, häufig auch mit dem Verlauf früherer Tickets. Hinzu kommt, was Kundinnen und Kunden unaufgefordert in Freitextfelder schreiben. Wer ein orthopädisches Hilfsmittel zurückschickt, nennt dabei unter Umständen eine Erkrankung. Solche Gesundheitsangaben zählen nach Art. 9 DSGVO zu den sensiblen Daten, die nur unter engen Voraussetzungen verarbeitet werden dürfen. Für die Bestandsaufnahme hat es sich bewährt, vier Datenflüsse getrennt zu dokumentieren:

• Eingaben über Chat, E-Mail, Messenger oder Kontaktformular.
• Informationen, die der Agent aus Shopsystem, Warenwirtschaft oder CRM nachlädt.
• Wissensquellen wie Produktdaten, Hilfetexte und archivierte Tickets.
• Protokolle, Auswertungen und Trainingsdaten, die im laufenden Betrieb entstehen.

Die Kette der Auftragsverarbeiter endet nicht beim Plattformbetreiber

Wird eine KI-Plattform als Cloud-Dienst genutzt, ist ihr Betreiber in der Regel Auftragsverarbeiter nach Art. 28 DSGVO. Mit dem Hauptvertrag ist die Prüfung allerdings nicht erledigt. Support-Plattformen stützen sich auf Rechenzentren, E-Mail-Versender, Übersetzungsdienste und Schnittstellen zu großen Sprachmodellen, die ihrerseits als Unterauftragsverarbeiter tätig werden. Maßgeblich sind deshalb die vollständige Liste dieser Dienstleister, deren Verarbeitungsorte und bei Übermittlungen in Drittländer die jeweilige Grundlage, etwa das EU-US Data Privacy Framework oder Standardvertragsklauseln.

Ein Beispiel für eine solche Offenlegung liefert Armincx by Chatarmin. Der Wiener Anbieter veröffentlicht für seine KI-Kundenservice-Suite den Vertrag zur Auftragsverarbeitung samt technischer und organisatorischer Maßnahmen und führt jeden Unterauftragsverarbeiter mit Tätigkeit und Verarbeitungsort auf. Änderungen an dieser Liste kündigt Chatarmin beispielsweise nach dem Vertragstext mindestens 14 Tage vorher an, Kunden können in dieser Frist widersprechen. Für den Zugang zu Sprachmodellen über einen Gateway-Dienst ist dort eine aktive Zero-Data-Retention-Einstellung vermerkt, bei der Anfragen nicht beim Dienstleister gespeichert bleiben.

Training, Speicherung und Löschung

Die Orientierungshilfe der Datenschutzkonferenz zu KI und Datenschutz stuft Anwendungen als vorzugswürdig ein, die Ein- und Ausgabedaten nicht zu Trainingszwecken verwenden. Lässt sich die Nutzung für das Training nicht ausschließen und sind personenbezogene Daten betroffen, braucht auch dieser Zweck eine eigene Rechtsgrundlage. Aus demselben Grund bewerten die Aufsichtsbehörden technisch geschlossene Systeme günstiger als offene, die über weitere Datenquellen zusätzliche Bezüge zu Personen herstellen können. Eine Datenschutz-Folgenabschätzung wird nach Einschätzung der Konferenz beim Einsatz von KI-Anwendungen vielfach erforderlich sein.

Im Support kommt es deshalb darauf an, woher der Agent sein Wissen bezieht. Greift ein Agent zur Laufzeit auf die Wissensbasis eines Händlers zu, bleiben die Daten unter dessen Kontrolle. Fließen Kundennachrichten dagegen in das Basismodell eines Anbieters ein, lassen sie sich kaum wieder herauslösen. Das hat Folgen für die Rechte auf Berichtigung und Löschung nach Art. 16 und 17 DSGVO, die Verantwortliche auch gegenüber einer KI-Anwendung gewährleisten müssen. Einträge in einer Wissensdatenbank lassen sich in der Regel gezielt korrigieren oder entfernen, ein trainiertes Modell dagegen nicht.

Die Kennzeichnungspflicht gilt seit August

Mit Art. 50 der KI-Verordnung müssen Systeme, die direkt mit Menschen kommunizieren, so gestaltet sein, dass Nutzer erfahren, dass sie es mit einer KI zu tun haben. Der Hinweis muss spätestens bei der ersten Interaktion erfolgen, sofern der Einsatz nicht ohnehin offensichtlich ist. Eine Klausel in den Nutzungsbedingungen genügt nach der Leitlinie der Bundesnetzagentur nicht. Bei Verstößen sieht die Verordnung Bußgelder von bis zu 15 Millionen Euro oder drei Prozent des weltweiten Jahresumsatzes vor. Die Pflichten für Hochrisiko-Systeme hat der KI-Omnibus dagegen auf Dezember 2027 verschoben. Klassische Service-Chatbots fallen in aller Regel ohnehin nicht in diese Kategorie. In Deutschland überwacht die Bundesnetzagentur die Einhaltung der Verordnung und nimmt über eine eigene Beschwerdestelle Hinweise entgegen.

Der sichtbare Hinweis im Chatfenster ist der einfache Teil. Ob ein solches KI-Etikett Vertrauen schafft, hängt allerdings davon ab, ob sich im Hintergrund nachvollziehen lässt, welche Daten in die Antwort eingeflossen sind. Für IT-Abteilungen ist das ein weiteres Argument für saubere Protokolle.

Menschen treffen die rechtlich wirksamen Entscheidungen

Heikel wird die Automatisierung, sobald ein Agent über Anliegen entscheidet, die spürbare Folgen haben. Dazu zählen die Ablehnung einer Erstattung, der Ausschluss vom Kauf auf Rechnung oder die Sperre eines Kundenkontos. Entscheidungen mit Rechtswirkung dürfen nach Art. 22 DSGVO grundsätzlich nur Menschen treffen, und eine lediglich formelle Beteiligung reicht nach Auffassung der Datenschutzkonferenz nicht aus. Praktikabel ist es, Standardfälle mit positivem Ausgang automatisch abzuwickeln und Ablehnungen sowie Sonderfälle mit vollständigem Kontext an Mitarbeitende zu übergeben.

Prompt-Injection als Einfallstor

Sprachmodelle im Kundenkontakt schaffen außerdem neue Angriffsflächen. Wie real das Risiko ist, zeigte der Fall des Lenovo-Chatbots Lena. Sicherheitsforscher brachten ihn mit einer präparierten Anfrage von rund 400 Zeichen dazu, schädlichen HTML-Code auszugeben, über den sich Sitzungscookies von Kunden und Support-Mitarbeitenden abgreifen ließen. Ein Agent, der Aktionen im Shopsystem ausführen darf, braucht deshalb Filter für Ein- und Ausgaben, eng begrenzte Schnittstellenrechte und eine Protokollierung jeder ausgelösten Aktion. Neue Wissensquellen und Workflows sollten zudem in einer Testumgebung mit präparierten Anfragen geprüft werden, bevor sie produktiv gehen.

Prüfpunkte vor dem Livegang

Vor dem Livegang sollten IT und Datenschutz gemeinsam diese Punkte abarbeiten:

• den KI-Agenten im Verzeichnis der Verarbeitungstätigkeiten ergänzen;
• prüfen, ob eine Datenschutz-Folgenabschätzung erforderlich ist, und das Ergebnis dokumentieren;
• Vertrag zur Auftragsverarbeitung, Unterauftragsverarbeiter und Drittlandübermittlungen bewerten;
• die Verwendung von Kundendaten für das Modelltraining vertraglich regeln;
• den KI-Hinweis spätestens zu Beginn jedes Gesprächs anzeigen;
• Eskalationsregeln für sensible Themen und Entscheidungen mit Rechtswirkung festlegen;
• dem Agenten nur die Schnittstellenrechte geben, die er für seine Aufgaben braucht, und jede Aktion protokollieren;
• Beschäftigtenvertretung und Datenschutzbeauftragte vor dem Rollout einbinden.

Fazit

Support-Automatisierung ist datenschutzrechtlich beherrschbar, wenn sie als Verarbeitungskette verstanden wird und nicht als einzelnes Werkzeug. Entscheidend sind transparente Unterauftragsverhältnisse, ein klarer Ausschluss des Trainings mit Kundendaten, ein sichtbarer KI-Hinweis und die Regel, dass folgenreiche Entscheidungen bei Menschen bleiben. Nachbesserungen im laufenden Betrieb sind in aller Regel teurer als eine gründliche Prüfung vor dem Start.