Die Evidenz für digitale Gesprächsagenten endet zu früh

Eine breite Interventionsklasse, keine einheitliche Technik

Die Leitpublikation von Yuhao He und Kolleg:innen untersuchte sogenannte Conversational Agent Interventions für unterschiedliche psychische Probleme. Die Forschungsgruppe wollte Merkmale solcher Interventionen zusammenfassen, ihre Wirksamkeit prüfen und statistisch bedeutsame Moderatoren identifizieren. Eingeschlossen wurden randomisierte kontrollierte Studien, in denen ein Gesprächsagent mit einer beliebigen Kontrollbedingung verglichen wurde. Betrachtet wurden unter anderem depressive und generalisierte Angstsymptome, spezifische Ängste, Stress, allgemeine Belastung, Wohlbefinden, psychosomatische Beschwerden sowie positiver und negativer Affekt.

Schon diese Spannweite begrenzt jede pauschale Aussage. Unter dem gemeinsamen Begriff stehen Interventionen für verschiedene Zielgruppen, Probleme und Zielgrößen. Die Metaanalyse bewertet damit keine einzelne Anwendung und erst recht nicht automatisch jedes heutige generative KI-System. Aus redaktioneller Sicht ist diese Unterscheidung zentral: Ein durchschnittlicher Effekt einer breiten Forschungskategorie ist weder ein Qualitätssiegel für ein konkretes Produkt noch ein Beleg dafür, dass unterschiedliche Gesprächssysteme austauschbar wären.

32 Studien liefern einen belastbaren, aber begrenzten Überblick

He und Kolleg:innen durchsuchten sechs wissenschaftliche Datenbanken von deren Beginn bis zum 30. Oktober 2021 und aktualisierten die Suche bis zum 1. Mai 2022. Von 6900 identifizierten Datensätzen wurden 32 Studien mit insgesamt 6089 Teilnehmenden eingeschlossen. Zwei Personen extrahierten die Daten unabhängig voneinander, eine dritte überprüfte sie. Die Arbeit folgte den PRISMA-Leitlinien und bündelte die Ergebnisse sowohl mit Modellen zufälliger als auch fester Effekte. Als Effektmaß diente Hedges g.

Das Studiendesign ist für die Leitfrage wesentlich: Berücksichtigt wurden ausschließlich randomisierte kontrollierte Vergleiche. Dadurch geht die Arbeit über bloße Zufriedenheitswerte oder freiwillige Nutzungsstatistiken hinaus. Gleichwohl beantwortet auch eine Metaanalyse nur die Fragen, die ihre Primärstudien tatsächlich untersucht haben. Sie kann die Zahl der Teilnehmenden zusammenführen, aber fehlende Nachbeobachtungen, unterschiedliche Interventionen oder nicht erhobene Versorgungsfolgen nicht nachträglich erzeugen.

Der deutlichste gemeinsame Befund liegt in der kurzen Frist

Gegenüber den jeweiligen Kontrollbedingungen zeigten die Gesprächsinterventionen kurzfristig statistisch signifikante Effekte bei sämtlichen von der Metaanalyse entsprechend ausgewiesenen Belastungsmaßen. Für depressive und generalisierte Angstsymptome lag Hedges g jeweils bei 0,29. Berichtet wurden außerdem Effekte für spezifische Angstsymptome von 0,47, für Lebensqualität oder Wohlbefinden von 0,27, für allgemeine Belastung von 0,33 und für Stress von 0,24. Bei Symptomen psychischer Störungen betrug g 0,36, bei psychosomatischen Beschwerden 0,62 und beim negativen Affekt 0,28.

Diese Ergebnisse sprechen gegen die Behauptung, digitale Gespräche seien grundsätzlich wirkungslos. Sie belegen aber zunächst Unterschiede in standardisierten Messwerten, nicht automatisch eine im Alltag spürbare oder klinisch bedeutsame Veränderung. Die Metaanalyse berichtet statistische Signifikanz; eine gesonderte Schwelle für klinische Relevanz geht aus dem bereitgestellten Quellenbefund nicht hervor. Genau an dieser Stelle wird aus korrekter Statistik häufig eine zu große Erzählung: Ein nachweisbarer Gruppenunterschied wird als Beweis umfassender Versorgungstauglichkeit behandelt.

Nach der Intervention wird die Aussage unscharf

Für die meisten längerfristig betrachteten Ergebnisse waren die Effekte nicht statistisch signifikant. Die berichteten Langzeitwerte lagen zwischen g gleich minus 0,04 und 0,39. Das beweist nicht, dass keinerlei Wirkung fortbesteht. Es bedeutet aber, dass diese Metaanalyse für die meisten psychischen Zielgrößen keinen statistisch gesicherten langfristigen Vorteil feststellen konnte.

Dieser Unterschied ist für Produktentwicklung und Versorgung wichtiger als eine pauschale Debatte über „Wirksamkeit“. Ein System kann während oder unmittelbar nach einer Intervention einen messbaren Nutzen zeigen, ohne dass dieser später stabil bleibt. Unsere Einordnung lautet daher: Der derzeit klarste Evidenzhorizont ist kurzfristig. Wer dauerhafte Stabilisierung, Prävention späterer Verschlechterungen oder nachhaltige Entlastung verspricht, geht über den hier berichteten Nachweis hinaus.

Empathische Antworten sind ein Moderator, kein Beziehungsbeweis

Die Leitpublikation identifiziert Personalisierung und empathische Reaktionen als wichtige begünstigende Faktoren. Zudem war eine längere Interaktionsdauer mit größeren gepoolten Effektstärken verbunden. Das sind relevante Hinweise für die Gestaltung digitaler Gesprächsangebote: Nicht allein die Bereitstellung eines Dialogfensters scheint entscheidend zu sein, sondern auch, wie anschlussfähig und zugewandt die Interaktion erlebt oder umgesetzt wird.

Doch eine Moderatoranalyse ist kein Kausalexperiment über einzelne Produktmerkmale. Dass längere Interaktionen mit größeren Effekten zusammenhängen, belegt nicht, dass bloßes Verlängern eines Gesprächs die Wirkung erzeugt. Ebenso wenig weist eine als empathisch gestaltete Antwort eine menschliche Beziehung oder ein professionelles Arbeitsbündnis nach. Plausibel ist vielmehr, dass Gestaltung, Nutzungsintensität und weitere Eigenschaften gemeinsam variieren. Für Entwickler:innen sind die Befunde deshalb Hypothesen mit empirischem Gewicht, aber keine fertige Bauanleitung.

Die ältere Evidenz war vorsichtiger – aus gutem Grund

Die systematische Übersicht von Alaa Abd-Alrazaq und Kolleg:innen aus dem Jahr 2020 fand zwölf Studien zu acht Zielgrößen. Sie bewertete die Evidenz für Verbesserungen bei Depression, Belastung, Stress und Höhenangst als schwach. Für subjektives psychisches Wohlbefinden ergab sich kein statistisch signifikanter Effekt; bei Angst sowie positivem und negativem Affekt waren die Ergebnisse widersprüchlich. Als Gründe für die zurückhaltende Schlussfolgerung nannten die Autor:innen unter anderem wenige Studien je Zielgröße, ein hohes Verzerrungsrisiko, widersprüchliche Resultate und fehlende Belege für klinisch bedeutsame Effekte.

Auch zur Sicherheit war die Datengrundlage schmal. Nur zwei eingeschlossene Studien untersuchten sie; dort wurden keine unerwünschten Ereignisse oder Schäden berichtet. Ausbleibende Meldungen in zwei Studien sind jedoch kein umfassender Sicherheitsnachweis. Der Vergleich mit der Metaanalyse von 2023 zeigt einen Fortschritt bei Umfang und randomisierter Evidenz, beseitigt aber nicht jede frühere Unsicherheit. Besonders die Fragen nach klinischer Bedeutung und längerfristigem Verlauf bleiben erkennbar bestehen.

Bei jungen Menschen konzentriert sich der Nutzen auf Depression

Die 2025 veröffentlichte Metaanalyse von Yi Feng und Kolleg:innen verengt den Blick auf 12- bis 25-Jährige und ausdrücklich KI-gesteuerte Gesprächsagenten. Sie umfasst 14 Artikel mit 15 randomisierten Studien und insgesamt 1974 Teilnehmenden. Nach Korrektur für Publikationsverzerrung zeigte sich bei depressiven Symptomen ein als moderat bis groß eingeordneter Effekt von g gleich 0,61. In subklinischen Populationen lag der entsprechende Wert bei 0,74.

Für generalisierte Angstsymptome, Stress, positiven und negativen Affekt sowie psychisches Wohlbefinden waren die um Publikationsverzerrung bereinigten Effekte dagegen nicht statistisch signifikant. Die Autor:innen nennen unterschiedliche therapeutische Ausrichtungen der Systeme und fehlende Nachbeobachtungen als wesentliche Grenzen. Damit erweitert die jüngere Analyse die Leitpublikation, widerspricht aber einer undifferenzierten Übertragung ihrer Resultate: Bei jungen Menschen erscheint der Nutzen nicht als gleichmäßiger Effekt über verschiedene Belastungsbereiche, sondern vor allem als Befund zu depressiven Symptomen.

Zwischen Symptomwert und Versorgungsentlastung fehlt ein Nachweis

He und Kolleg:innen leiten aus ihren Ergebnissen eine breitere Implementierung ab und verbinden die Technik mit der Aussicht, menschliche Ressourcen zu schonen und Versorgungsleistungen besser zu verteilen. Diese Schlussfolgerung ist weiterreichend als die im Quellenbefund ausgewiesenen Resultate. Die Metaanalyse bündelt vor allem psychische Ergebnismaße. Eingesparte Arbeitszeit, veränderte Inanspruchnahme professioneller Angebote oder eine bessere Ressourcenverteilung werden in den berichteten Ergebnissen nicht quantifiziert. Auch leichte Zugänglichkeit oder Akzeptanz ersetzen keinen solchen Nachweis.

Das ist der Kernkonflikt: Ein kurzfristiger Symptomunterschied kann für Nutzer:innen wertvoll sein, beantwortet aber nicht, welche Aufgabe ein System in einer realen Versorgungskette zuverlässig übernimmt. Es bleibt offen, ob digitale Gespräche menschliche Arbeit tatsächlich reduzieren, lediglich zusätzliche Nachfrage erzeugen oder Aufgaben verschieben. Die drei Metaanalysen lösen diese organisatorische Frage nicht.

Unsere redaktionelle Position ist deshalb bewusst enger als die optimistischste Schlussfolgerung der Leitpublikation. Digitale Gesprächsagenten sollten nach dem beurteilt werden, was für eine bestimmte Zielgruppe, Zielgröße und Zeitspanne geprüft wurde. Der vorhandene Forschungsstand erlaubt begrenzte Aussagen über kurzfristige Effekte, besonders bei depressiven Symptomen. Er rechtfertigt weder ein allgemeines Langzeitversprechen noch die Annahme, dass statistische Wirksamkeit automatisch Sicherheit, klinische Relevanz und Entlastung des Versorgungssystems mitliefert.