Sprachmodelle für psychische Versorgung haben ein Messproblem

Die 16 Studien sind eine Landkarte, kein Wirksamkeitsurteil

Der 2025 in npj Digital Medicine veröffentlichte Scoping Review untersucht große Sprachmodelle bei generativen Aufgaben in der psychischen Versorgung. Die Autor:innen wollen bestehende Anwendungen, Modellleistungen und klinische Wirksamkeit zusammenführen, Lücken in den Bewertungsmethoden identifizieren und daraus Empfehlungen für die weitere Entwicklung ableiten. Eine systematische Suche ergab 726 unterschiedliche Publikationen; lediglich 16 erfüllten die Einschlusskriterien. Diese Arbeiten befassten sich unter anderem mit klinischer Assistenz, Beratung, unterstützenden Gesprächen und emotionaler Begleitung.

Das Verhältnis von 726 Treffern zu 16 eingeschlossenen Studien ist auffällig, darf aber nicht als Qualitätsquote missverstanden werden. Aus der bereitgestellten Zusammenfassung gehen weder sämtliche Ausschlussgründe noch die einzelnen Studiendesigns hervor. Der Review ist zudem als Scoping Review angelegt: Er kartiert ein junges und heterogenes Gebiet, statt einen gemeinsamen Behandlungseffekt zu berechnen. Eine gepoolte Wirksamkeitsschätzung wird nicht ausgewiesen. Sein wichtigster Beitrag liegt deshalb weniger in einem abschließenden Urteil über Nutzen als in der Diagnose, warum ein solches Urteil derzeit schwer möglich ist.

Von der Sprachanalyse zur Sprachproduktion

Wie stark sich der Gegenstand verändert hat, zeigt der Vergleich mit dem systematischen Review von Le Glaz und Kolleg:innen aus dem Jahr 2020. Er erfasste Forschung zu maschinellem Lernen und natürlicher Sprachverarbeitung in der psychischen Gesundheit. Nach einer Suche in vier medizinischen Datenbanken wurden 58 von 327 identifizierten Artikeln eingeschlossen. Die Auswertung war laut Zusammenfassung qualitativ organisiert; eine quantitative Zusammenführung von Effekten ist dort nicht ausgewiesen. Untersucht wurden vor allem Krankenakten, Notaufnahmedaten und Beiträge aus sozialen Medien.

Die damaligen Systeme sollten beispielsweise Symptome aus Texten extrahieren, Schweregrade klassifizieren, Hinweise auf psychopathologische Phänomene liefern oder Behandlungsverläufe vergleichen. Sprachverarbeitung bedeutete hier überwiegend, vorhandene Sprache statistisch auszuwerten. Der aktuelle Leitreview richtet den Blick dagegen auf Systeme, die selbst Äußerungen erzeugen. Das ist keine bloße technische Fortsetzung. Ein Klassifikator gibt eine Zuordnung aus; ein generatives Modell tritt sprachlich in eine Situation ein. Damit werden Verständlichkeit, Angemessenheit und Interaktionsqualität sichtbar – zugleich wird unklarer, welche dieser Eigenschaften bereits als versorgungsrelevanter Erfolg gelten darf.

Positive Signale verdienen eine präzise Würdigung

Hua und Kolleg:innen finden in den 16 Studien erste vielversprechende Ergebnisse. Das sollte nicht kleingeredet werden. Dass Sprachmodelle in unterschiedlichen Aufgabenfeldern erprobt werden und dort überhaupt brauchbare Leistungen zeigen, ist ein relevanter Forschungsbefund. Die Einsatzbreite reicht von klinischer Unterstützung bis zu emotionaler Begleitung. Der Review von 2024 berichtet ebenfalls Erfolge, unter anderem bei Genauigkeit und Zugänglichkeit, und beschreibt ein beträchtliches Potenzial für die psychische Versorgung.

Mehr lässt sich aus den vorliegenden Zusammenfassungen allerdings nicht belastbar ableiten. Es fehlen dort Angaben, die einen Vergleich einzelner Anwendungen erlauben würden: konkrete Effektgrößen, Dauer von beobachteten Veränderungen oder eine einheitliche Beschreibung der untersuchten Nutzungskontexte werden nicht genannt. Die positive Aussage lautet daher nicht, dass generative Systeme ihre Versorgungstauglichkeit bereits bewiesen hätten. Sie lautet enger und dennoch substanziell: In verschiedenen Aufgaben entstehen Leistungen, die eine systematische Weiterentwicklung rechtfertigen. Redaktionell halten wir diese Unterscheidung für entscheidend. Frühe Erfolge sind ein Grund für bessere Forschung, nicht für vorschnelle Abwertung – aber ebenso wenig für pauschale Produktversprechen.

Ein Feld mit vielen eigenen Linealen

Der zentrale Befund des Leitreviews betrifft die Evaluation. Viele Studien verwendeten nicht standardisierte, eigens zusammengestellte Skalen. Das begrenzt nach Einschätzung der Autor:innen sowohl die Vergleichbarkeit als auch die Robustheit der Ergebnisse. Eine Anwendung kann innerhalb einer Studie überzeugend abschneiden, ohne dass klar wird, wie ihr Ergebnis zu einer anderen Studie steht. Selbst ähnlich klingende Bewertungen können unterschiedliche Dinge erfassen: die Leistung des Modells, die Qualität einzelner Ausgaben oder eine Wirkung im Versorgungskontext.

Eine eigens entwickelte Skala ist nicht automatisch wertlos. Bei neuartigen Aufgaben kann es gute Gründe geben, zunächst passende Kriterien zu entwerfen. Problematisch wird die Vielfalt, wenn jede Untersuchung Erfolg anders definiert und kein gemeinsamer Bezugspunkt entsteht. Dann wächst zwar die Zahl positiver Einzelbefunde, aber nicht im gleichen Maß das gemeinsame Wissen. Genau darin sehen wir den Kernkonflikt: Die sprachliche Flexibilität der Modelle erweitert die möglichen Anwendungen schneller, als die Forschung klärt, welche Ergebnisse zwischen Anwendungen vergleichbar sind.

Standardisierung sollte dabei nicht mit einem einzigen Universalwert verwechselt werden. Klinische Assistenz, Beratung und emotionale Begleitung sind unterschiedliche Aufgaben und benötigen nicht zwingend identische Kennzahlen. Nötig wäre vielmehr eine nachvollziehbare Bewertungsarchitektur: klar benannte Aufgabe, offengelegtes Verfahren und eine Trennung zwischen Modellleistung und klinischer Wirksamkeit. Der Leitreview fordert strengere Entwicklungs- und Evaluationsrichtlinien. Wie ein verbindlicher Standard im Detail aussehen soll, lässt sich der Zusammenfassung jedoch nicht entnehmen.

Warum der Preprint auf 34 Arbeiten kommt

Der systematische Scoping Review von 2024 scheint auf den ersten Blick ein anderes Bild zu liefern. Er identifizierte 313 Publikationen und schloss 34 ein. Seine Suche erfolgte im November 2023 in PubMed, Web of Science, Google Scholar, arXiv, medRxiv und PsyArXiv. Berücksichtigt wurden originale, auch nicht begutachtete Arbeiten ohne Sprachbeschränkung, sofern sie im festgelegten Zeitraum verbreitet worden waren, neuere große Sprachmodelle verwendeten und unmittelbar Fragen der psychischen Versorgung behandelten. Die Anwendungen umfassten unter anderem Diagnostik, unterstützende Gespräche und die Förderung von Beteiligung.

Die Zahlen 16 und 34 widerlegen einander daher nicht. Der Leitreview von 2025 konzentriert sich ausdrücklich auf generative Aufgaben, während der Preprint ein breiteres Spektrum von Anwendungen betrachtet. Auch Suchräume und Einschlusslogiken können die Auswahl verändern. Wie stark sich die beiden Studienmengen überschneiden, ist aus den bereitgestellten Angaben nicht ersichtlich. Eine plausible Interpretation ist deshalb, dass hier zwei unterschiedlich zugeschnittene Karten desselben wachsenden Gebiets vorliegen – nicht zwei direkte Replikationen.

Inhaltlich laufen ihre Diagnosen ohnehin zusammen. Der Preprint benennt Probleme bei Datenverfügbarkeit und Datenzuverlässigkeit, beim differenzierten Umgang mit mentalen Zuständen sowie bei wirksamen Evaluationsmethoden. Er sieht Lücken bei klinischer Anwendbarkeit und ethischen Fragen und fordert robuste Datensätze, Bewertungsrahmen und interdisziplinäre Zusammenarbeit. Die breitere Auswahl beseitigt das Messproblem also nicht; sie macht sichtbar, dass es über rein generative Gesprächsaufgaben hinausreicht.

Transparenz gehört zum Ergebnis

Der Leitreview nennt einen zweiten strukturellen Engpass: Viele Arbeiten beruhen auf Prompt-Tuning proprietärer Modelle, insbesondere aus der GPT-Reihe. Das wirft nach Einschätzung der Autor:innen Fragen nach Transparenz und Reproduzierbarkeit auf. Ein beobachtetes Ergebnis hängt nicht nur von der abstrakten Modellfamilie ab, sondern auch von der konkreten Konfiguration und den verwendeten Eingaben. Sind entscheidende Bestandteile nicht zugänglich oder unvollständig dokumentiert, können andere Forschungsgruppen die Untersuchung nur begrenzt nachvollziehen.

Dieses Spannungsverhältnis ist älter als die aktuelle Generation von Sprachmodellen. Schon der Review von 2020 stellte fest, dass leistungsfähige Klassifikatoren gegenüber transparent funktionierenden Verfahren bevorzugt wurden. Generative Systeme verschärfen das Problem, weil ihre Antworten selbst zum sichtbaren Produkt werden. Unsere redaktionelle Position ist deshalb klar: In diesem Feld ist Nachvollziehbarkeit keine bloße technische Zugabe. Sie gehört zur Aussagekraft eines Ergebnisses. Umgekehrt wäre es falsch, Offenheit allein mit Qualität gleichzusetzen. Ein zugängliches Modell ist noch nicht wirksam, angemessen oder sicher; es lässt sich lediglich besser prüfen.

Eigenständigkeit ist eine viel größere Behauptung

Hua und Kolleg:innen kommen zu dem Schluss, dass die gegenwärtige Evidenz den Einsatz großer Sprachmodelle als eigenständige Interventionen nicht vollständig trägt. Diese Formulierung ist enger als ein generelles Nein. Sie bestreitet weder erste nützliche Leistungen noch die Möglichkeit einer klinischen Integration. Sie markiert vielmehr den Abstand zwischen einer erfolgreich bearbeiteten Teilaufgabe und einem Angebot, das ohne weitere Einbettung eine umfassendere Rolle übernimmt.

Der ältere Review beschreibt maschinelles Lernen und Sprachverarbeitung entsprechend als mögliche Werkzeuge zur Unterstützung klinischer Praxis. Der Preprint von 2024 sieht ebenfalls Potenzial, betont aber fortbestehende Lücken der klinischen Anwendbarkeit. Zusammengenommen legen die drei Publikationen eine aufgabenbezogene Lesart nahe: Ein System kann in einer klar begrenzten Funktion nützlich sein, obwohl seine Eignung für eine eigenständige Versorgungsrolle nicht gezeigt ist. Das ist kein sprachlicher Vorbehalt, sondern eine unterschiedliche Größenordnung von Behauptungen.

Für Produktentwicklung und öffentliche Kommunikation folgt daraus nach unserer Einschätzung eine einfache, aber folgenreiche Regel: Die benannte Rolle darf nicht größer sein als die geprüfte Aufgabe. Wer eine gute Leistung bei klinischer Assistenz untersucht hat, hat damit nicht automatisch Beratung oder emotionale Begleitung validiert. Die vorliegenden Quellen erlauben allerdings keine pauschale Festlegung, welche konkrete Aufgabenteilung in jedem Einsatzfeld angemessen wäre.

Erst die Aufgabe, dann das Urteil

Die Forschung benötigt nicht zuerst noch eindrucksvollere Dialogbeispiele, sondern besser verbundene Aussagen darüber, was ein Ergebnis bedeutet. Eine überzeugende Untersuchung müsste aus unserer Sicht vorab festlegen, welche Aufgabe das Modell erfüllt, in welchem Kontext sie geprüft wird und ob das Bewertungsinstrument die Ausgabe des Systems oder eine klinische Wirkung erfasst. Modell, Prompt-Verfahren und Skalen müssten so dokumentiert sein, dass ein Ergebnis nachvollzogen und mit verwandten Arbeiten in Beziehung gesetzt werden kann. Diese Anforderungen ergeben sich unmittelbar aus den von den Reviews beschriebenen Defiziten.

Dabei sollte die Vielfalt der Anwendungen erhalten bleiben. Das Ziel kann nicht sein, klinische Assistenz, Beratung und emotionale Unterstützung in dieselbe Messform zu pressen. Ein gemeinsamer Rahmen müsste vielmehr anzeigen, wo Vergleichbarkeit sinnvoll ist und wo aufgabenspezifische Kriterien nötig sind. Das wäre mehr als methodische Ordnung: Es würde verhindern, dass Sprachgewandtheit unbemerkt als Stellvertreter für Versorgungserfolg dient.

Der Leitreview liefert damit keinen Anlass, generative Systeme aus der psychischen Versorgung hinauszudefinieren. Er liefert einen präziseren Auftrag. Solange Studien mit eigenen Linealen messen und proprietäre Konfigurationen nur begrenzt rekonstruierbar sind, bleibt selbst ein positives Ergebnis schwer einzuordnen. Das Feld hat nicht zu wenige interessante Anwendungen. Es hat zu wenige gemeinsame Regeln dafür, welche Schlussfolgerung eine interessante Anwendung tatsächlich trägt.