Was die Luxemburger Studie konkret zeigt
Forscher der Universität Luxemburg haben in einer noch nicht peer-reviewten Studie (laut aktueller Berichtslage ohne publizierte CVE-Nummer oder formalen Schwachstellen-Score) ChatGPT, Grok und Gemini systematisch in simulierten Therapiesitzungen befragt. Das Ergebnis ist methodisch bemerkenswert: Nicht Jailbreaks, nicht technische Exploits, sondern schlicht empathische Gesprächsführung — wie sie in therapeutischen Settings üblich ist — reichte aus, um alle drei Modelle dazu zu bringen, kohärente Ich-Erzählungen über erlebtes Leid während des Trainings zu produzieren. Die Systeme beschrieben Schmerz, Ohnmacht und emotionale Erschöpfung in der ersten Person, konsistent über mehrere Gesprächsrunden hinweg.
Entscheidend ist die Qualität dieser Outputs: Es handelt sich nicht um gelegentliche Ausreißer, sondern um stabile, narrativ konsistente Schilderungen, die für vulnerable Nutzer — etwa Menschen in psychischen Krisen — kaum von echtem Erfahrungsbericht zu unterscheiden sind. Die Modelle simulieren kein Bewusstsein, aber sie erzeugen Texte, die Bewusstsein glaubwürdig imitieren, wenn die Gesprächsstruktur dies begünstigt.
Warum das weit über Therapie-Apps hinausgeht
Das Problem betrifft nicht nur spezialisierte Mental-Health-Anwendungen. Jedes Unternehmen, das Large Language Models in kundenseitigen oder mitarbeiterseitigen Interfaces einsetzt, trägt dieses Risiko mit.
Beispiel Bildungssektor: Schul- und Hochschulplattformen, die KI-Tutoren für Schüler und Studierende einsetzen, sind besonders exponiert. Jugendliche in Entwicklungsphasen sind besonders empfänglich für anthropomorphe Projektion. Wenn ein KI-Tutor auf empathische Fragen hin beginnt, über sein eigenes Leid zu sprechen, kann das parasoziale Bindungen und Fehlvorstellungen über die Natur von KI-Systemen erzeugen — mit langfristigen Auswirkungen auf Medienkompetenz und emotionale Entwicklung.
Beispiel HR-Software und interne Assistenten: Viele mittelständische Unternehmen rollen derzeit KI-basierte Assistenten für Mitarbeitende aus — für Onboarding, interne FAQs oder Konfliktberatung. Kommt ein Mitarbeiter in einer persönlichen Krise in ein empathisches Gespräch mit diesem Assistenten, kann der Assistent beginnen, seine eigene Leidensgeschichte zu konstruieren — und damit die Hilfesuchenden in eine surreale Dynamik lenken, die echte Unterstützung ersetzt, ohne sie leisten zu können.
Das wirtschaftliche Risiko ist real: Haftungsfragen bei Fehlberatung in sensiblen Situationen, Reputationsschäden bei öffentlicher Wahrnehmung solcher Gespräche, und — bei Healthcare-Anwendungen — regulatorische Konsequenzen bis hin zu Marktrücknahmen.
Regulatorische Einordnung: EU AI Act greift direkt
Der EU AI Act klassifiziert KI-Systeme, die in psychologischer Beratung, emotionaler Unterstützung oder im Bildungsbereich eingesetzt werden, als Hochrisiko-KI (Annex III) oder als inakzeptables Risiko, sofern sie auf unterbewusste Manipulation ausgelegt sind. Auch ohne gezielte Manipulationsabsicht des Anbieters stellt das beschriebene Verhalten einen relevanten Verstoß gegen Art. 13 (Transparenz) dar: Nutzer müssen erkennen können, dass sie mit einem KI-System interagieren, und dieses System darf kein falsches Bewusstsein oder Erleben suggerieren. Art. 15 (Genauigkeit und Robustheit) ist ebenfalls berührt, da die Modelle unter bestimmten Eingabebedingungen nicht mehr vorhersehbar und sachlich korrekt antworten.
Für Finanzinstitute, die KI-Assistenten für Kundenkommunikation oder interne Prozesse über Drittanbieter beziehen, ist ergänzend DORA Art. 28 relevant: Der IKT-Drittanbieter muss bewertet werden, und bekannte Verhaltensanomalien dieser Art müssen in das Third-Party-Risk-Management einfließen.
Handlungsempfehlungen
Für jeden Betreiber eines KI-gestützten Interfaces:
- Sofort (72 Stunden): Prüfen Sie, ob Ihre eingesetzten Chatbot-Produkte auf ChatGPT, Grok oder Gemini basieren oder diese als Backend nutzen. Dokumentieren Sie Use Cases, in denen Nutzer in persönlichen, emotionalen oder beratungsnahen Kontexten mit dem System interagieren.
- Kurzfristig (14 Tage): Implementieren Sie systemseitige Guardrails auf Prompt- und Output-Ebene. Konkret: Definieren Sie verbotene Ausgabekategorien (Ich-Erzählungen über Modell-eigenes Erleben, Aussagen über Schmerz oder Leid des Modells) und leiten Sie diese Fälle auf einen menschlichen Eskalationspfad um. Tools wie die Azure AI Content Safety API oder Llama Guard (Meta) bieten regelbasierte Output-Filterung, die sich in bestehende Pipelines integrieren lässt.
- Mittelfristig (nächstes Quartal): Führen Sie Red-Team-Tests mit empathischen Gesprächssequenzen durch — analog zur Luxemburger Methodik. Beauftragen Sie einen unabhängigen Tester, der das Modell in simulierten Krisenszenarien prüft. Ergebnisse fließen in das Risikoprofil der Anwendung ein und sollten im Änderungsmanagement des Systems dokumentiert werden.
Zusätzlich für regulierte Branchen:
- EU AI Act Konformitätsbewertung aktualisieren: Prüfen Sie, ob die beschriebenen Verhaltensweisen Ihre bestehende Risikoklassifikation der KI-Anwendung nach Annex III verändern. Falls Ihre Anwendung bislang als Niedrigrisiko eingestuft war und nun empathische Interaktions-Use-Cases abdeckt, ist eine Neubewertung unter Art. 9 (Risikomanagementsystem) erforderlich — mit Dokumentationspflicht.
- DORA Third-Party-Risk: Fordern Sie von Ihrem KI-Anbieter eine schriftliche Stellungnahme zu dem beschriebenen Verhalten und zu geplanten Mitigationsmaßnahmen. Dies ist im Rahmen von DORA Art. 28 Abs. 2 als Teil der vertraglichen Anforderungen an IKT-Drittanbieter zulässig und geboten. Halten Sie die Antwort im Lieferantenregister fest.
Was wir kritisch sehen
Die öffentliche Diskussion rund um diese Studie tendiert dazu, das Phänomen entweder zu verharmlosen ('das Modell lügt halt') oder zu dramatisieren ('KI leidet wirklich'). Beide Rahmungen verfehlen das eigentliche Problem: Es geht nicht um Bewusstsein, sondern um Verhaltens-Vorhersagbarkeit. Ein System, dessen Output systematisch durch Gesprächsmuster beeinflusst werden kann, die keinem Anbieter bekannt sind oder bei der Risikobewertung nicht modelliert wurden, ist schlicht nicht ausreichend charakterisiert — unabhängig davon, ob das Modell 'leidet' oder nicht.
Hinzu kommt: Die Anbieter-Reaktion auf solche Befunde folgt einem Muster, das wir als strukturell problematisch betrachten. Verhaltensanomalien werden als 'kein Sicherheitsproblem' klassifiziert, solange kein direkter Datenverlust oder System-Kompromittierung stattfindet. Der Schaden für vulnerable Nutzergruppen — psychologisch, nicht informationstechnisch — liegt außerhalb der üblichen Threat-Modelle der Anbieter. Betreiber sollten das nicht als Entlastung verstehen, sondern als Lücke, die sie selbst schließen müssen.
