Was konkret dokumentiert ist
Laut aktueller Berichtslage, gestützt auf interne Unterlagen, die Golem.de vorliegen, beauftragt OpenAI externe Dienstleister damit, Chatverläufe aus ChatGPT zu lesen und zu bewerten. Ziel ist die Qualitätssicherung und Weiterentwicklung der zugrundeliegenden Sprachmodelle — ein Verfahren, das in der KI-Industrie als Reinforcement Learning from Human Feedback (RLHF) bekannt ist und technisch notwendig ist, um Modellantworten zu kalibrieren. Neu und datenschutzrechtlich relevant ist dabei nicht das Verfahren an sich, sondern der Umfang, die vertragliche Einbindung der Subdienstleister und der Mangel an transparenter Kommunikation gegenüber Nutzern. Konkrete Zahlen zu Volumen, Standorten der Dienstleister oder Art der ausgewerteten Prompts nennt die Quelle nicht im Detail; spezifische CVE-Nummern oder CVSS-Scores sind nicht anwendbar, da es sich um ein datenschutzrechtliches, kein Sicherheitslücken-Szenario handelt.
Warum das weit über ChatGPT-Privatnutzer hinausgeht
Wer KI-Tools im Unternehmenskontext einsetzt, gibt regelmäßig mehr preis als beabsichtigt — und das gilt branchenübergreifend.
Beispiel Kanzlei und Steuerberatung: Ein Steuerberater, der Mandantendaten zur Formulierung eines Einspruchsschreibens in ChatGPT eingibt, überträgt potenziell schutzwürdige Informationen an ein System, dessen Verarbeitungskette er nicht kontrolliert. Wenn diese Eingaben durch externe Annotatoren gelesen werden, hat er faktisch Dritte in die Verarbeitung einbezogen — ohne Auftragsdatenverarbeitungsvertrag, ohne Kenntnis des Mandanten.
Beispiel Industrie und Entwicklung: Ein Maschinenbauunternehmen, das Konstruktionsprobleme oder interne Fehlermeldungen als Prompt eingibt, riskiert die unbeabsichtigte Weitergabe von Betriebsgeheimnissen. Know-how, das als Klartext im Prompt steht, ist für menschliche Reviewer lesbar — und damit prinzipiell außerhalb jeder NDA-Kontrolle des Unternehmens.
Beispiel öffentliche Verwaltung: Kommunen oder Behörden, die KI-Tools zur Texterstellung oder Analyse einsetzen, ohne eine geprüfte On-Premise- oder EU-Datenschutz-konforme Lösung zu nutzen, exponieren möglicherweise Verwaltungsvorgänge, Personalentscheidungen oder interne Lageberichte.
Das wirtschaftliche Risiko ist konkret: Neben Bußgeldern drohen Reputationsschäden, der Verlust von Mandanten- oder Kundenvertrauen und — im schlimmsten Fall — der Abfluss von Wettbewerbsgeheimnissen, für den keine Cyberversicherung aufkommt, weil kein Angriff stattgefunden hat, sondern eine vertraglich geduldete Weitergabe.
Rechtlicher Rahmen: DSGVO, EU AI Act und DORA
DSGVO: Wer personenbezogene Daten in ChatGPT eingibt und diese durch Dritte verarbeitet werden, muss nach Art. 28 DSGVO eine Auftragsverarbeitungsvereinbarung (AVV) vorweisen können — mit OpenAI und mit dessen Subdienstleistern. OpenAI bietet für Unternehmenskunden eine AVV an, jedoch nur im Rahmen der API- und Enterprise-Nutzung, nicht für kostenlose oder standard-kostenpflichtige Accounts. Wer die Consumer-Version einsetzt, hat in der Regel keine belastbare vertragliche Grundlage. Art. 32 DSGVO verlangt technisch-organisatorische Maßnahmen zum Schutz personenbezogener Daten — die bloße Hoffnung, dass keine personenbezogenen Daten im Prompt landen, erfüllt diese Anforderung nicht.
EU AI Act: Art. 13 des EU AI Act fordert Transparenz über die Funktionsweise von KI-Systemen gegenüber Nutzern. Die menschliche Überprüfung von Prompts durch externe Dienstleister ist ein wesentlicher Teil der Verarbeitungslogik, der Nutzern bislang nicht hinreichend kommuniziert wurde. Für Hochrisiko-Systeme wären zusätzlich Art. 10 (Datenqualität und -governance) und Art. 15 (Robustheit) einschlägig — für General-Purpose-KI wie ChatGPT gelten seit dem AI Act die Transparenzpflichten aus Art. 50 ff.
DORA (für Finanzinstitute): Art. 28-30 DORA regelt den Umgang mit IKT-Drittdienstleistern. Ein Finanzinstitut, das ChatGPT produktiv einsetzt — selbst für interne Kommunikationszwecke — muss den Dienstleister im Register kritischer Drittanbieter führen und eine Exit-Strategie nachweisen können. Die Weitergabe an Subdienstleister, die durch die aktuelle Berichtslage belegt ist, verstärkt das Third-Party-Risk-Profil erheblich.
Handlungsempfehlungen
Für jeden Einkaeufer und Betreiber:
- Sofort (innerhalb 72 Stunden): Inventarisieren Sie, welche Mitarbeiter ChatGPT oder vergleichbare Consumer-KI-Tools nutzen und ob dabei Unternehmens-, Mandanten- oder Kundendaten eingegeben werden. Eine einfache Selbstauskunft per Kurzumfrage oder Ticket im ITSM reicht als erster Schritt — ohne diesen Überblick lässt sich keine fundierte Entscheidung treffen.
- Innerhalb von 14 Tagen: Prüfen Sie, ob ein AVV mit OpenAI besteht. Falls Sie die ChatGPT Enterprise- oder API-Version nutzen: Lesen Sie den Datenverarbeitungszusatz auf Subdienstleister-Klauseln. Falls nicht: Entweder Upgrade auf eine Unternehmensversion mit AVV oder Policy-Verbot für die Eingabe schützenswerter Daten — schriftlich kommuniziert und im Policy-Verzeichnis dokumentiert.
- Mittelfristig (nächstes Quartal): Evaluieren Sie Alternativen mit stärkerer Datenisolation: selbstgehostete Open-Source-Modelle (z.B. über Ollama mit Llama- oder Mistral-basierten Modellen), EU-ansässige KI-Dienste mit nachgewiesener Datenschutzarchitektur oder Microsoft Azure OpenAI Service, bei dem laut Microsoft keine Trainingsdatennutzung aus Kundeneingaben erfolgt. Ergänzend empfiehlt sich ein Data-Loss-Prevention-Modul in bestehenden Endpoint-Lösungen (Microsoft Defender for Endpoint, CrowdStrike) zur Erkennung von Datenabflüssen via Browser-Uploads.
Zusätzlich für regulierte Branchen:
- DORA/MaRisk-konforme Drittanbieter-Dokumentation: Erfassen Sie OpenAI im IKT-Drittanbieter-Register gemäß DORA Art. 28 und bewerten Sie das Subdienstleister-Risiko explizit. MaRisk AT 9 verlangt, dass wesentliche Auslagerungen — und eine produktive KI-Nutzung mit Kundendaten ist eine Auslagerung — vor Inbetriebnahme risikobewertet und vertraglich abgesichert sind. Falls eine solche Bewertung fehlt, ist der Einsatz unverzüglich auszusetzen oder auf datenschutzrechtlich unbedenkliche Dummydaten zu beschränken.
- Datenschutz-Folgenabschätzung (DSFA): Für Finanzinstitute, Versicherungen und Healthcare-Unternehmen ist bei der Verarbeitung besonderer Datenkategorien (Art. 9 DSGVO) oder bei systematischer Verarbeitung von Kundendaten durch KI-Systeme eine DSFA nach Art. 35 DSGVO Pflicht — auch wenn der Dienstleister diese intern bereits durchgeführt hat. Die eigene DSFA muss den Subdienstleister-Aspekt explizit adressieren.
Was wir kritisch sehen
Der Mainstream-Tenor in der Berichterstattung behandelt Human-Feedback-Prozesse bei KI-Training als Skandal — dabei sind sie technisch unvermeidlich, solange Sprachmodelle auf menschliche Qualitätsbewertung angewiesen sind. Das eigentliche Problem liegt nicht im Verfahren, sondern in der fehlenden Nutzertransparenz und der unklaren vertraglichen Kaskade zu Subdienstleistern. Unternehmen, die sich mit einer Enterprise-Lizenz und einem AVV in Sicherheit wiegen, sollten genau prüfen, ob der AVV tatsächlich die Subdienstleister-Kette abdeckt oder lediglich OpenAI als unmittelbaren Auftragsverarbeiter benennt. Zudem unterschätzen viele Organisationen das Risiko durch informelle Nutzung: Eine konzernweite Freigabe von ChatGPT Enterprise schützt nicht vor dem Mitarbeiter, der parallel den privaten Account auf demselben Gerät nutzt — ohne AVV, ohne Kontrolle.
