Bei KI-Gesprächen über seelische Krisen muss jemand zuständig sein

Die Leitfrage liegt hinter der Gesprächsoberfläche

Coghlan und Kolleg:innen untersuchen in ihrer 2023 veröffentlichten Übersichtsarbeit zentrale ethische Probleme von KI-gestützten Gesprächssystemen im Bereich psychischer Gesundheit. Ihr Ausgangspunkt ist bewusst ambivalent: Solche Systeme können den Zugang zu Informationen und Angeboten fördern, bringen aber zugleich Risiken mit sich, die bei Menschen mit psychischen Belastungen verschärft sein können. Die Publikation behandelt vier wichtige ethische Problemfelder mithilfe eines anerkannten Rahmens aus fünf Prinzipien. Die vorliegende Quellenbeschreibung benennt weder diese vier Felder noch die einzelnen Prinzipien; eine detailliertere Aufzählung wäre daher spekulativ.

Entscheidend ist ohnehin weniger die Zahl der Kategorien als die Perspektive der Arbeit. Ethik erscheint nicht als nachträgliche Kontrolle einzelner Antworten, sondern als Aufgabe entlang der gesamten technischen Entwicklung und Nutzung. Die Autor:innen adressieren entsprechend Entwickler:innen, Anbieter, Forschende und Fachkräfte. Damit verschiebt sich der Blick vom scheinbar privaten Austausch zwischen Mensch und Software auf die Organisation hinter dem System: Wer bestimmt den Einsatzzweck, welche Versprechen werden gemacht, wie werden Risiken beobachtet und wer kann Konsequenzen ziehen?

Eine Ethikprüfung ist kein Wirksamkeitsnachweis

Die Leitpublikation ist eine kritische Übersichtsarbeit, keine klinische Interventionsstudie. Sie prüft weder Symptomverläufe in einer eigenen Stichprobe noch vergleicht sie ein KI-System randomisiert mit menschlicher Behandlung. Ihre Ergebnisse bestehen in der Identifikation und ethischen Analyse von Problemen sowie in Empfehlungen für eine verantwortliche Entwicklung und Einführung. Das ist ein relevanter Beitrag, beantwortet aber nicht die Frage, ob ein bestimmtes Produkt bei einer bestimmten Personengruppe wirksam oder sicher ist.

Diese methodische Grenze ist für die öffentliche Debatte zentral. Aus einem überzeugend beschriebenen Nutzen lässt sich keine nachgewiesene Wirkung ableiten; aus einer ethischen Problembeschreibung wiederum folgt nicht, dass jede Anwendung unvertretbar wäre. Nach unserer redaktionellen Auffassung werden beide Ebenen zu oft vermischt. Anbieter können auf gute Gesprächserfahrungen verweisen, obwohl Langzeitfolgen ungeklärt sind. Kritiker:innen können reale Risiken benennen, ohne deren Häufigkeit zu kennen. Eine verantwortliche Bewertung muss deshalb mindestens drei Fragen getrennt halten: Was leistet das System technisch, welche Folgen sind empirisch belegt und unter welchen Bedingungen ist sein Einsatz normativ vertretbar?

Mehr Zugang kann auch mehr Verantwortung bedeuten

Der mögliche Zugangsvorteil ist nicht bloß ein Werbeargument. Coghlan und Kolleg:innen erkennen ausdrücklich an, dass Gesprächssysteme den Zugang zu Informationen und Diensten verbessern können. Zhang und Wang führen zusätzlich ständige Verfügbarkeit, Skalierbarkeit, geringere geografische Hürden und die mögliche Bereitschaft zu offeneren Angaben gegenüber einer Maschine an. Der Beitrag stellt solche Eigenschaften als mögliche Antworten auf knappe professionelle Ressourcen und lange Wartezeiten dar.

Doch Reichweite beseitigt Verantwortung nicht, sondern vervielfacht sie. Ein jederzeit verfügbares System kann auch jederzeit missverstanden werden, falsche Erwartungen wecken oder sensible Daten erfassen. Seine niedrige Zugangsschwelle macht Qualitätsunterschiede für Nutzer:innen nicht automatisch erkennbar. Besonders problematisch wird es, wenn die einfache Bedienung mit fachlicher Verlässlichkeit verwechselt wird. Unsere Einordnung lautet daher: Zugang ist erst dann ein ethischer Gewinn, wenn die zusätzlich erreichten Menschen nicht zugleich mit Risiken allein gelassen werden, die durch Produktgestaltung, Vermarktung oder unklare Zuständigkeiten entstanden sind.

Der Vergleich mit menschlichen Fachkräften verengt die Debatte

Zhang und Wang stellen 2024 die zugespitzte Frage, ob KI Psychotherapeut:innen ersetzen könne. Der bereitgestellte Text berichtet jedoch keinen eigenen randomisierten Ersetzungsversuch. Er bündelt Forschung und Anwendungsbeispiele, beschreibt potenzielle Vorteile und Grenzen und fordert selbst groß angelegte randomisierte kontrollierte Studien. Genannt werden vorläufige Hinweise auf eine kurzfristige Verringerung von Angst- und Depressionssymptomen durch KI-gestützte Angebote. Zugleich weisen die Autor:innen darauf hin, dass zugrunde liegende Studien häufig kleine Gruppen und keine langfristige Nachbeobachtung haben und dass längerfristige Effekte unsicher bleiben.

Die Ersatzfrage ist deshalb empirisch voreilig und begrifflich zu grob. Unter KI fallen in diesem Beitrag sehr verschiedene Funktionen: Prognose, Erkennung, Unterstützung von Fachkräften, Monitoring, virtuelle Umgebungen und textbasierte Interventionen. Ein System kann eine klar begrenzte Aufgabe übernehmen, ohne eine professionelle Rolle als Ganzes zu ersetzen. Zhang und Wang gelangen trotz weitreichender Zukunftserwartungen selbst zu einer komplementären Position: Menschliche Aufsicht, ethisches Urteil und die Fähigkeit, komplexe emotionale und nonverbale Signale einzuordnen, bleiben wesentlich.

Redaktionell halten wir den Ersatzvergleich zudem für politisch ablenkend. Er richtet die Aufmerksamkeit auf einen hypothetischen Wettkampf zwischen Mensch und Maschine, während schon heute konkretere Entscheidungen anstehen: Welche Funktion darf automatisiert werden? Wann muss ein Mensch erreichbar sein? Welche Behauptungen über Leistungsfähigkeit sind zulässig? Solche Rollenfragen lassen sich prüfen. Die pauschale Frage nach vollständigem Ersatz erzeugt dagegen mehr Spekulation als Orientierung.

Emotionssprache ist noch keine Beziehung

Zhang und Wang verweisen auf Untersuchungen, in denen ChatGPT emotionale Bestandteile hypothetischer Situationen erkennen und sprachlich differenziert wiedergeben konnte. Der Beitrag nennt insbesondere eine Bewertung mit der Levels of Emotional Awareness Scale. Solche Ergebnisse können zeigen, dass ein Sprachmodell Antworten erzeugt, die nach festgelegten Kriterien emotional aufmerksam wirken. Die Autor:innen betonen jedoch selbst, dass diese Leistung auf Mustererkennung und Sprachmodellierung beruht, nicht auf erlebtem Verstehen.

Diese Unterscheidung ist keine philosophische Nebensache. Für Nutzer:innen ist die innere Funktionsweise im Gespräch kaum sichtbar: Eine passende Formulierung kann wie Anteilnahme, Verbindlichkeit oder Erinnerung an eine gemeinsame Geschichte erscheinen. Daraus folgt aber weder eine belastbare Beziehung noch klinische Wirksamkeit. Ein Benchmark mit hypothetischen Szenarien misst außerdem etwas anderes als den Verlauf realer, längerfristiger Gespräche unter Belastung. Wahrgenommene Einfühlsamkeit kann ein Produktmerkmal sein; sie ist kein Nachweis dafür, dass das System Verantwortung übernehmen oder die Bedeutung einer Situation zuverlässig erfassen kann.

Die ethische Landkarte ist inzwischen breiter

Die Scoping Review von Meadi und Kolleg:innen aus dem Jahr 2025 erweitert die frühere Grundsatzanalyse um eine systematische Kartierung der Literatur. Gesucht wurde in sieben wissenschaftlichen Datenbanken; zusätzliche Texte kamen über Schneeballsuche hinzu. Berücksichtigt wurden englische und niederländische Veröffentlichungen verschiedener Typen, ausgenommen Zusammenfassungen von Symposien. Zwei Forschende prüften die Eignung unabhängig voneinander. Ein ethisches Anliegen wurde als eigenes Thema ausgewiesen, wenn es in mehr als zwei Artikeln vorkam.

Eingeschlossen wurden 101 Publikationen, davon 96 aus dem Jahr 2018 oder später. Reviews bildeten mit 22 Beiträgen die größte Gruppe, gefolgt von 17 Kommentaren. Die Forschenden unterschieden zehn Themen. Am häufigsten wurde Privatsphäre und Vertraulichkeit behandelt, nämlich in 62 der 101 Texte. Sicherheit und Schaden erschienen in 52, Gerechtigkeit in 41, Wirksamkeit in 38 und Verantwortung beziehungsweise Rechenschaftspflicht in 31 Beiträgen. Weitere Themen waren Empathie und Menschlichkeit, Erklärbarkeit und Vertrauen, Anthropomorphisierung und Täuschung, Autonomie sowie Sorgen um Arbeitsplätze im Gesundheitswesen.

Diese Zahlen messen die Aufmerksamkeit in der Literatur, nicht die Häufigkeit realer Schäden und auch nicht deren Schwere. Ein oft diskutiertes Problem ist nicht automatisch das größte; ein selten behandeltes kann erheblich unterschätzt sein. Zudem bestand ein beträchtlicher Teil des Materials aus Reviews und Kommentaren. Die Autor:innen benennen selbst eine unzureichende Repräsentation von Stakeholder-Perspektiven und untererforschte Bereiche. Die Übersicht ist daher eine Landkarte der Debatte, keine abschließende Risikobilanz.

Datenschutz ist Teil der dargestellten Beziehung

Dass Privatsphäre und Vertraulichkeit in der Scoping Review am häufigsten vorkommen, passt zum Gegenstand. Gespräche über psychische Belastungen können besonders sensible Angaben enthalten. Das Problem betrifft nicht nur eine abstrakte Datensicherheit, sondern auch die Bedeutung der Gesprächssituation: Nutzer:innen können einen geschützten, persönlichen Austausch wahrnehmen, während technisch ein datenverarbeitender Dienst mit eigenen Speicher-, Analyse- und Zugriffsstrukturen arbeitet.

Mit Anthropomorphisierung und möglicher Täuschung erfasst die Review ein eng verwandtes Problem. Je menschlicher ein System erscheint, desto leichter können Menschen ihm Fähigkeiten, Fürsorge oder Verschwiegenheit zuschreiben, die nicht aus einer flüssigen Antwort folgen. Das bedeutet nicht, dass jede personnahe Gestaltung täuscht. Nach unserer Auffassung wird sie aber ethisch heikel, sobald die Oberfläche institutionelle Tatsachen verdeckt: dass ein Anbieter das System betreibt, dass Algorithmen und Datenflüsse nicht neutral sind und dass die Maschine selbst für keine Zusage einstehen kann. Transparenz muss deshalb mehr leisten als den einmaligen Hinweis, dass man mit KI spricht.

Die Rolle muss vor dem Dialog feststehen

Coghlan und Kolleg:innen verorten ethische Verantwortung entlang der gesamten Technologie-Pipeline. Meadi und Kolleg:innen zeigen zwei Jahre später, wie breit die daraus entstehenden Fragen inzwischen diskutiert werden, und markieren weiteren Forschungsbedarf: Risiken und Nutzen im Vergleich zu menschlichen Fachkräften, angemessene Rollen in Versorgungskontexten, Auswirkungen auf den Zugang und die Zurechnung von Verantwortung. Zhang und Wang ergänzen die funktionale Perspektive, indem sie mögliche Unterstützungsleistungen beschreiben, zugleich aber Grenzen bei Langzeitwirkung, Erinnerung, Verzerrungen, genuiner Empathie und ethischem Urteil hervorheben.

Daraus ergibt sich unsere zentrale Position: Ein KI-System für Gespräche über psychische Belastungen darf nicht zuerst durch seine sprachliche Überzeugungskraft definiert werden. Zuerst muss seine institutionelle Rolle begrenzt sein. Ein Informationsangebot, ein Werkzeug für Fachkräfte, ein System zur Verlaufserfassung und ein als Gegenüber inszenierter Gesprächsdienst sind ethisch nicht dasselbe. Sie erzeugen unterschiedliche Erwartungen und verlangen unterschiedliche Formen von Aufsicht und Rechenschaft.

Die gefährlichste Lücke liegt deshalb nicht zwingend in einer ungeschickten Antwort. Sie entsteht, wenn ein System Nähe darstellt, ohne dass hinter dieser Darstellung eine erkennbare Zuständigkeit steht. Software kann rund um die Uhr sprechen. Verantwortung kann sie nicht tragen. Wer solche Gespräche entwickelt, anbietet oder in professionelle Strukturen einbindet, muss diese Differenz sichtbar halten, statt sie durch immer menschlicher klingende Sprache zu verwischen.