Stilisierte Darstellung eines Chatfensters mit lesbaren Texteingaben, im Hintergrund menschliche Silhouetten — symbolisiert menschliche Überprüfung von KI-Konversationen
Compliance Veröffentlicht: Aktualisiert:

OpenAI: Menschen lesen Ihre ChatGPT-Prompts

Interne Unterlagen belegen: Externe Dienstleister von OpenAI lesen und bewerten Nutzereingaben aus ChatGPT-Sitzungen. Was das für Unternehmen jeder Branche bedeutet.

Was konkret dokumentiert ist

Laut aktueller Berichtslage, gestützt auf interne Unterlagen, die Golem.de vorliegen, beauftragt OpenAI externe Dienstleister damit, Chatverläufe aus ChatGPT zu lesen und zu bewerten. Ziel ist die Qualitätssicherung und Weiterentwicklung der zugrundeliegenden Sprachmodelle — ein Verfahren, das in der KI-Industrie als Reinforcement Learning from Human Feedback (RLHF) bekannt ist und technisch notwendig ist, um Modellantworten zu kalibrieren. Neu und datenschutzrechtlich relevant ist dabei nicht das Verfahren an sich, sondern der Umfang, die vertragliche Einbindung der Subdienstleister und der Mangel an transparenter Kommunikation gegenüber Nutzern. Konkrete Zahlen zu Volumen, Standorten der Dienstleister oder Art der ausgewerteten Prompts nennt die Quelle nicht im Detail; spezifische CVE-Nummern oder CVSS-Scores sind nicht anwendbar, da es sich um ein datenschutzrechtliches, kein Sicherheitslücken-Szenario handelt.

Warum das weit über ChatGPT-Privatnutzer hinausgeht

Wer KI-Tools im Unternehmenskontext einsetzt, gibt regelmäßig mehr preis als beabsichtigt — und das gilt branchenübergreifend.

Beispiel Kanzlei und Steuerberatung: Ein Steuerberater, der Mandantendaten zur Formulierung eines Einspruchsschreibens in ChatGPT eingibt, überträgt potenziell schutzwürdige Informationen an ein System, dessen Verarbeitungskette er nicht kontrolliert. Wenn diese Eingaben durch externe Annotatoren gelesen werden, hat er faktisch Dritte in die Verarbeitung einbezogen — ohne Auftragsdatenverarbeitungsvertrag, ohne Kenntnis des Mandanten.

Beispiel Industrie und Entwicklung: Ein Maschinenbauunternehmen, das Konstruktionsprobleme oder interne Fehlermeldungen als Prompt eingibt, riskiert die unbeabsichtigte Weitergabe von Betriebsgeheimnissen. Know-how, das als Klartext im Prompt steht, ist für menschliche Reviewer lesbar — und damit prinzipiell außerhalb jeder NDA-Kontrolle des Unternehmens.

Beispiel öffentliche Verwaltung: Kommunen oder Behörden, die KI-Tools zur Texterstellung oder Analyse einsetzen, ohne eine geprüfte On-Premise- oder EU-Datenschutz-konforme Lösung zu nutzen, exponieren möglicherweise Verwaltungsvorgänge, Personalentscheidungen oder interne Lageberichte.

Das wirtschaftliche Risiko ist konkret: Neben Bußgeldern drohen Reputationsschäden, der Verlust von Mandanten- oder Kundenvertrauen und — im schlimmsten Fall — der Abfluss von Wettbewerbsgeheimnissen, für den keine Cyberversicherung aufkommt, weil kein Angriff stattgefunden hat, sondern eine vertraglich geduldete Weitergabe.

Rechtlicher Rahmen: DSGVO, EU AI Act und DORA

DSGVO: Wer personenbezogene Daten in ChatGPT eingibt und diese durch Dritte verarbeitet werden, muss nach Art. 28 DSGVO eine Auftragsverarbeitungsvereinbarung (AVV) vorweisen können — mit OpenAI und mit dessen Subdienstleistern. OpenAI bietet für Unternehmenskunden eine AVV an, jedoch nur im Rahmen der API- und Enterprise-Nutzung, nicht für kostenlose oder standard-kostenpflichtige Accounts. Wer die Consumer-Version einsetzt, hat in der Regel keine belastbare vertragliche Grundlage. Art. 32 DSGVO verlangt technisch-organisatorische Maßnahmen zum Schutz personenbezogener Daten — die bloße Hoffnung, dass keine personenbezogenen Daten im Prompt landen, erfüllt diese Anforderung nicht.

EU AI Act: Art. 13 des EU AI Act fordert Transparenz über die Funktionsweise von KI-Systemen gegenüber Nutzern. Die menschliche Überprüfung von Prompts durch externe Dienstleister ist ein wesentlicher Teil der Verarbeitungslogik, der Nutzern bislang nicht hinreichend kommuniziert wurde. Für Hochrisiko-Systeme wären zusätzlich Art. 10 (Datenqualität und -governance) und Art. 15 (Robustheit) einschlägig — für General-Purpose-KI wie ChatGPT gelten seit dem AI Act die Transparenzpflichten aus Art. 50 ff.

DORA (für Finanzinstitute): Art. 28-30 DORA regelt den Umgang mit IKT-Drittdienstleistern. Ein Finanzinstitut, das ChatGPT produktiv einsetzt — selbst für interne Kommunikationszwecke — muss den Dienstleister im Register kritischer Drittanbieter führen und eine Exit-Strategie nachweisen können. Die Weitergabe an Subdienstleister, die durch die aktuelle Berichtslage belegt ist, verstärkt das Third-Party-Risk-Profil erheblich.

Handlungsempfehlungen

Für jeden Einkaeufer und Betreiber:

  1. Sofort (innerhalb 72 Stunden): Inventarisieren Sie, welche Mitarbeiter ChatGPT oder vergleichbare Consumer-KI-Tools nutzen und ob dabei Unternehmens-, Mandanten- oder Kundendaten eingegeben werden. Eine einfache Selbstauskunft per Kurzumfrage oder Ticket im ITSM reicht als erster Schritt — ohne diesen Überblick lässt sich keine fundierte Entscheidung treffen.
  2. Innerhalb von 14 Tagen: Prüfen Sie, ob ein AVV mit OpenAI besteht. Falls Sie die ChatGPT Enterprise- oder API-Version nutzen: Lesen Sie den Datenverarbeitungszusatz auf Subdienstleister-Klauseln. Falls nicht: Entweder Upgrade auf eine Unternehmensversion mit AVV oder Policy-Verbot für die Eingabe schützenswerter Daten — schriftlich kommuniziert und im Policy-Verzeichnis dokumentiert.
  3. Mittelfristig (nächstes Quartal): Evaluieren Sie Alternativen mit stärkerer Datenisolation: selbstgehostete Open-Source-Modelle (z.B. über Ollama mit Llama- oder Mistral-basierten Modellen), EU-ansässige KI-Dienste mit nachgewiesener Datenschutzarchitektur oder Microsoft Azure OpenAI Service, bei dem laut Microsoft keine Trainingsdatennutzung aus Kundeneingaben erfolgt. Ergänzend empfiehlt sich ein Data-Loss-Prevention-Modul in bestehenden Endpoint-Lösungen (Microsoft Defender for Endpoint, CrowdStrike) zur Erkennung von Datenabflüssen via Browser-Uploads.

Zusätzlich für regulierte Branchen:

  1. DORA/MaRisk-konforme Drittanbieter-Dokumentation: Erfassen Sie OpenAI im IKT-Drittanbieter-Register gemäß DORA Art. 28 und bewerten Sie das Subdienstleister-Risiko explizit. MaRisk AT 9 verlangt, dass wesentliche Auslagerungen — und eine produktive KI-Nutzung mit Kundendaten ist eine Auslagerung — vor Inbetriebnahme risikobewertet und vertraglich abgesichert sind. Falls eine solche Bewertung fehlt, ist der Einsatz unverzüglich auszusetzen oder auf datenschutzrechtlich unbedenkliche Dummydaten zu beschränken.
  2. Datenschutz-Folgenabschätzung (DSFA): Für Finanzinstitute, Versicherungen und Healthcare-Unternehmen ist bei der Verarbeitung besonderer Datenkategorien (Art. 9 DSGVO) oder bei systematischer Verarbeitung von Kundendaten durch KI-Systeme eine DSFA nach Art. 35 DSGVO Pflicht — auch wenn der Dienstleister diese intern bereits durchgeführt hat. Die eigene DSFA muss den Subdienstleister-Aspekt explizit adressieren.

Was wir kritisch sehen

Der Mainstream-Tenor in der Berichterstattung behandelt Human-Feedback-Prozesse bei KI-Training als Skandal — dabei sind sie technisch unvermeidlich, solange Sprachmodelle auf menschliche Qualitätsbewertung angewiesen sind. Das eigentliche Problem liegt nicht im Verfahren, sondern in der fehlenden Nutzertransparenz und der unklaren vertraglichen Kaskade zu Subdienstleistern. Unternehmen, die sich mit einer Enterprise-Lizenz und einem AVV in Sicherheit wiegen, sollten genau prüfen, ob der AVV tatsächlich die Subdienstleister-Kette abdeckt oder lediglich OpenAI als unmittelbaren Auftragsverarbeiter benennt. Zudem unterschätzen viele Organisationen das Risiko durch informelle Nutzung: Eine konzernweite Freigabe von ChatGPT Enterprise schützt nicht vor dem Mitarbeiter, der parallel den privaten Account auf demselben Gerät nutzt — ohne AVV, ohne Kontrolle.

Häufige Fragen

Wie erkenne ich als Einkäufer, ob mein KI-Vertrag wirklich Subdienstleister-Zugriff ausschließt?

Fordern Sie den vollständigen Datenverarbeitungszusatz (Data Processing Agreement) des Anbieters an und suchen Sie nach der Liste autorisierter Unterauftragsverarbeiter sowie der Klausel, ob und wie Sie über Änderungen informiert werden. Ein AVV, der nur den Hauptanbieter nennt, aber keine Subdienstleister-Liste enthält oder keine Einspruchsmöglichkeit bei neuen Unterauftragsverarbeitern gewährt, bietet keinen ausreichenden Schutz. Vergleichen Sie zudem, ob der Anbieter explizit zusichert, dass Eingabedaten nicht für Modelltraining genutzt werden — und lassen Sie sich das schriftlich bestätigen.

Muss ich als KMU ohne Compliance-Pflicht wirklich auf Consumer-ChatGPT verzichten?

Nicht pauschal — aber Sie müssen wissen, was Ihre Mitarbeiter eingeben. Enthält kein Prompt Kundendaten, Personalinformationen oder Betriebsgeheimnisse, ist das Risiko überschaubar. Die einfachste Maßnahme ist eine klare interne Richtlinie: welche Datenkategorien dürfen in welche KI-Tools eingegeben werden. Diese Richtlinie kostet nichts, reduziert Haftungsrisiken erheblich und ist in einem Nachmittag dokumentiert. Wer darüber hinaus geht und Kundendaten verarbeitet, sollte auf eine Unternehmensversion mit AVV wechseln oder auf selbstgehostete Alternativen setzen.

Welche DORA-Anforderung wird durch den Einsatz von ChatGPT im Finanzinstitut konkret ausgelöst?

DORA Art. 28 Abs. 1 verlangt, dass Finanzunternehmen IKT-Drittdienstleister, die wesentliche oder wichtige Funktionen unterstützen, vor Vertragsschluss und laufend risikobewerten. Sobald ChatGPT für Aufgaben genutzt wird, die regulatorisch relevante Daten berühren — etwa Kundenkommunikation, Risikoberichte oder Kreditanalysen — greift die Einstufungspflicht. Die durch die aktuelle Berichtslage belegte Subdienstleister-Kette ist nach Art. 28 Abs. 2 in der Risikobeurteilung explizit zu berücksichtigen. Eine fehlende Einstufung und Dokumentation kann bei einer BaFin-Prüfung als Kontrollmangel bewertet werden.

Quellen

www.golem.de
ctsd Redaktion — Die Insights der ctsd GmbH bieten Einordnungen und Handlungsempfehlungen zu aktuellen Themen aus IT-Sicherheit, KI und Regulatorik. Sitz: Tettnang am Bodensee. Mehr über uns →

Benötigen Sie Unterstützung?

Wir helfen Ihnen bei der Einordnung und Umsetzung — von der Analyse bis zur Lösung.

Gespräch vereinbaren