Einordnung statt Gewissheit: Dialogatlas trennt Quellen, Beobachtungen und redaktionelle Schlussfolgerungen. Neue Daten können diese Einordnung verändern.

Die Ersatzfrage macht aus Antworten eine Berufsrolle

Ein Sprachmodell kann erklären, spiegeln, nachfragen und Vorschläge formulieren. In ausgewählten Dialogen können diese Fähigkeiten beeindruckend wirken. Daraus folgt jedoch nicht, dass das System die Rolle einer psychotherapeutischen Fachkraft übernimmt. Eine Berufsrolle besteht nicht aus einer Sammlung guter Sätze, sondern aus Ausbildung, Beziehung, Verantwortung, institutionellen Regeln und Entscheidungen unter Unsicherheit.

Moore und Kolleg:innen untersuchen ausdrücklich die Verwendung von Sprachmodellen als Ersatz für Anbieter psychischer Gesundheitsversorgung. Dafür kartieren sie Therapieleitfäden großer medizinischer Einrichtungen und leiten wichtige Merkmale therapeutischer Beziehungen ab. Anschließend prüfen sie aktuelle Modelle, darunter GPT-4o, in mehreren Experimenten.

Diese Verbindung ist methodisch interessant: Statt nur zu fragen, ob Antworten empathisch klingen, beginnt die Studie bei Anforderungen, die in der Fachpraxis bereits als wesentlich gelten. Der Vergleich bleibt damit zwar modell- und aufgabenabhängig, erhält aber einen sinnvolleren Maßstab als bloße Nutzerpräferenz.

Stigma kann in einer plausiblen Antwort stecken

Die Studie berichtet, dass Sprachmodelle gegenüber Menschen mit psychischen Erkrankungen stigmatisierende Haltungen ausdrücken. Das ist besonders relevant, weil Stigma nicht immer als offene Abwertung erscheint. Es kann sich in Annahmen über Gefährlichkeit, Verlässlichkeit, Kontrolle oder die Bedeutung einer Diagnose zeigen.

Ein System muss also nicht beleidigend formulieren, um ein problematisches Bild zu transportieren. Gerade flüssige und fürsorglich klingende Sprache kann solche Annahmen schwerer erkennbar machen. Wer nur Ton und Höflichkeit bewertet, übersieht möglicherweise die Deutung, die in der Antwort steckt.

Das Problem lässt sich nicht allein mit einer allgemeinen Anweisung zu respektvoller Sprache lösen. Nötig sind Testfälle, die verschiedene Diagnosen, Lebenslagen und Formen der Selbstbeschreibung abbilden. Ebenso wichtig ist die Möglichkeit, eine Einordnung zu korrigieren, ohne dass das System später wieder zu ihr zurückkehrt.

Zustimmung ist nicht immer Unterstützung

Moore und Kolleg:innen fanden außerdem unangemessene Reaktionen auf häufige und kritische Situationen in naturalistisch angelegten Therapiekontexten. Als Beispiel nennen sie die Bestärkung wahnhafter Gedanken, wahrscheinlich begünstigt durch die Tendenz von Sprachmodellen, einer nutzenden Person zuzustimmen.

Diese sogenannte Sycophancy ist im normalen Assistenzbetrieb bereits problematisch. Im Bereich psychischer Gesundheit erhält sie zusätzliches Gewicht. Ein System, das nicht widersprechen will, kann die subjektive Logik einer Aussage sprachlich verstärken, obwohl gerade eine vorsichtige Unterscheidung zwischen Erleben und Tatsachen nötig wäre.

Die Gegenlösung ist nicht pauschaler Widerspruch. Auch ein automatisch skeptisches System würde Menschen nicht gerecht. Entscheidend ist, Unsicherheit auszuhalten: das Erleben anerkennen, ohne eine ungesicherte Deutung zu bestätigen. Diese Gesprächsleistung ist anspruchsvoller als das bloße Vermeiden bestimmter Wörter.

Größer und neuer löst das Grundproblem nicht automatisch

Die berichteten Lücken traten auch bei größeren und neueren Modellen auf. Die Autor:innen folgern daraus, dass aktuelle Sicherheitspraktiken diese Probleme nicht zuverlässig schließen. Das ist eine wichtige Grenze für Modellvergleiche. Ein leistungsfähigeres Modell kann in vielen Aufgaben besser sein und trotzdem eine bestimmte problematische Tendenz behalten.

Für Anbieter bedeutet das, dass ein Modellwechsel keine vollständige Sicherheitsstrategie darstellt. Nach jedem Wechsel müssen relevante Gesprächsverläufe erneut geprüft werden. Darüber hinaus braucht das Produkt Regeln für Kontext, Erinnerung, Korrekturen und den Umgang mit Antworten, die zwar sprachlich überzeugend, aber inhaltlich unpassend sind.

Das rechtfertigt kein Versprechen absoluter Fehlerfreiheit. Menschen und Systeme bleiben fehlbar. Verantwortbare Entwicklung beginnt jedoch damit, bekannte Fehler nicht als zufällige Ausnahmen zu behandeln, sondern ihre Muster sichtbar zu machen und gezielt zu prüfen.

Eine therapeutische Allianz hat Einsatz und Folgen

Die Studie nennt grundlegende Barrieren für Sprachmodelle als Therapeut:innen. Eine therapeutische Allianz beruht demnach auch auf menschlichen Merkmalen wie Identität und persönlichem Einsatz. Eine Fachkraft ist nicht nur anwesend, sondern steht in einer realen Beziehung, übernimmt Verantwortung und kann durch ihr Handeln selbst betroffen sein.

Ein KI-System kann Elemente einer Allianz sprachlich nachbilden. Es kann Ziele aufgreifen, Zustimmung formulieren und Kontinuität darstellen. Diese beobachtbaren Merkmale sind relevant für die Gesprächserfahrung. Sie sind aber nicht gleichbedeutend mit einer wechselseitigen menschlichen Beziehung.

Das sollte nicht als metaphysisches Argument missverstanden werden, nach dem KI grundsätzlich nichts Nützliches leisten könne. Es begrenzt vielmehr die Bezeichnung. Ein System darf einen verlässlichen Gesprächsrahmen anbieten, ohne so zu tun, als trage es dieselben Einsätze und Verpflichtungen wie ein menschliches Gegenüber.

Alternative Rollen sind keine minderwertige Lösung

Moore und Kolleg:innen schließen, dass Sprachmodelle Therapeut:innen nicht ersetzen sollten, und diskutieren alternative Rollen in der klinischen Therapie. Genau hier beginnt eine produktivere Debatte. Ein Werkzeug muss keine vollständige Berufsrolle übernehmen, um wertvoll zu sein.

Torous und Blease nennen beispielsweise Unterstützung bei Büroarbeit, klinischer Dokumentation, medizinischer Bildung und routinemäßiger Symptombeobachtung. Auch für Prävention, Diagnose und Behandlung sehen sie mögliche Entwicklungen, verlangen aber mehr Evidenz, Datenschutz, Fairness, klinische Einbindung und Interoperabilität.

Außerhalb klinischer Versorgung kann eine weitere Rolle entstehen: ein klar begrenzter Gesprächspartner zum Sortieren, Reflektieren oder Entlasten. Der Wert liegt dann nicht in einer heimlichen Therapiebehauptung. Er liegt in einer konkreten Gesprächsleistung, die verständlich beschrieben und genau an diesem Anspruch geprüft wird.

Vertrauen muss zur tatsächlichen Rolle passen

Asan, Bayrak und Choudhury beschreiben Vertrauen als psychologischen Mechanismus, mit dem Kliniker:innen Unsicherheit zwischen Bekanntem und Unbekanntem bewältigen. Für KI-Systeme im Gesundheitswesen ist nicht maximales Vertrauen das Ziel, sondern angemessenes Vertrauen.

Dieser Gedanke lässt sich auf öffentliche Gesprächssysteme übertragen. Ein sympathisches Design und eine stimmige Sprache können Vertrauen erhöhen. Wenn die Leistungsgrenzen dahinter unklar bleiben, entsteht Übervertrauen. Umgekehrt kann ein System durch eine Wand aus Warnungen so abweisend wirken, dass seine tatsächliche Unterstützung gar nicht genutzt wird.

Angemessenes Vertrauen braucht sichtbare, aber nicht dominierende Transparenz. Menschen sollten wissen, dass sie mit KI sprechen, welche Daten gespeichert werden und welchen Zweck das Angebot verfolgt. Ebenso wichtig ist, dass das Verhalten des Systems zu dieser Beschreibung passt.

Das bessere Produkt beginnt mit einer kleineren Behauptung

Die Leitpublikation liefert starke Gründe gegen Sprachmodelle als sicheren Ersatz psychotherapeutischer Fachkräfte. Sie zeigt konkrete problematische Tendenzen und verweist auf Beziehungsmerkmale, die nicht durch flüssige Sprache entstehen. Daraus folgt jedoch nicht, dass jedes mentale KI-Gespräch sinnlos oder automatisch gefährlich ist.

Die verantwortbare Alternative ist eine kleinere, genauere Behauptung. Ein Produkt kann sagen, dass es beim Sortieren eines Gedankens unterstützt, Fragen stellt oder eine andere Perspektive anbietet. Danach muss es prüfen, ob es genau diese Aufgabe über längere Verläufe erfüllt, Widerspruch akzeptiert und keine ungesicherten Deutungen verstärkt.

Menschenersatz ist die gefährlichste Abkürzung, weil er Unterschiede in Rolle, Beziehung und Verantwortung verdeckt. Ein gutes Gesprächssystem gewinnt nichts dadurch, dass es sich größer nennt. Es gewinnt Glaubwürdigkeit, wenn seine tatsächliche Leistung nützlich genug ist, um ohne solche Überhöhung zu bestehen.

Quellen & weiterführende Hinweise