137 Studien – und kaum reproduzierbare Chatbot-Antworten

Aus 7.752 Treffern wurden 137 Studien

Die Forschenden durchsuchten MEDLINE, Embase und Web of Science von Beginn der Datenbanken bis zum 27. Oktober 2023. Eine Fachbibliothekarin oder ein Fachbibliothekar unterstützte die Suche. Zwei Personen prüften Titel, Abstracts und Volltexte; 137 Primärstudien wurden eingeschlossen.

Untersucht wurden Arbeiten, die die klinische Genauigkeit generativer Chatbots bei Gesundheitsrat bewerteten. 55 Studien betrafen chirurgische Themen, 51 die Medizin und 13 die Primärversorgung. Häufig ging es um Behandlung, Diagnose oder Prävention.

Die systematische Auswahl macht die Übersicht belastbarer als eine lose Beispielsammlung. Ihr Gegenstand war jedoch die Berichtsqualität der Studien, nicht eine zusammengefasste Wirksamkeit aller Chatbots.

Die genaue Modellversion blieb fast immer unklar

136 der 137 Studien untersuchten nicht zugängliche, geschlossene Sprachmodelle und berichteten nicht genug Informationen, um die konkrete Version eindeutig zu identifizieren. Damit fehlt eine zentrale Voraussetzung für Reproduzierbarkeit.

Ein Modellname allein genügt nicht. Anbieter verändern Systeme, Sicherheitsregeln und Standardverhalten. Eine Antwort aus März kann sich von einer Antwort im Oktober unterscheiden, obwohl im Artikel derselbe Markenname steht.

Nur 54 Studien, also 39,4 Prozent, nannten überhaupt das Datum der Abfrage. Ohne Version und Zeitpunkt lässt sich ein Ergebnis kaum wiederholen oder sinnvoll auf den heutigen Betrieb übertragen.

Auch Screenshots oder vollständige Rohantworten wären hilfreich. Sie erlauben anderen Forschenden zu prüfen, ob die zusammenfassende Bewertung zum tatsächlichen Text passt. Wo weder Antwort noch genaue Systemfassung zugänglich sind, bleibt am Ende nur das Urteil des ursprünglichen Studienteams und keine belastbare unabhängige Nachprüfung.

Technische Eigenschaften wurden unzureichend beschrieben

Alle eingeschlossenen Studien beschrieben Modellmerkmale wie Temperatur, Tokenlänge, mögliche Feinabstimmung, Schichten und weitere technische Details nicht ausreichend. Manche Informationen sind bei geschlossenen Modellen für Forschende gar nicht zugänglich.

Diese Intransparenz ist nicht nur ein formales Problem. Temperatur und Ausgabelänge können Antworten verändern. Kontextfenster, Systemanweisungen und Modellupdates beeinflussen, ob ein Chat präzise, vorsichtig oder ausführlich reagiert.

Wenn wesentliche Parameter unbekannt bleiben, untersucht eine Studie weniger ein klar definiertes System als einen zeitlich begrenzten Zugang zu einem Produkt. Ihre Ergebnisse können trotzdem interessant sein, müssen aber entsprechend eng formuliert werden.

Promptentwicklung fehlte in 99,3 Prozent

136 Studien beschrieben keine Phase des Prompt Engineerings. Das ist bemerkenswert, weil die Formulierung einer Frage bei Sprachmodellen Teil der Versuchsanordnung ist. Schon kleine Unterschiede können Inhalt, Länge und Ton der Antwort verändern.

Eine faire Evaluation muss nicht wochenlang auf ein bestimmtes Ergebnis optimieren. Sie sollte aber begründen, wie Prompts entstanden, ob mehrere Varianten geprüft wurden und ob dieselben Regeln für alle getesteten Systeme galten.

Bei Gesprächschats reicht eine einzelne Frage ohnehin nicht. Systemprompt, vorheriger Verlauf, Nutzereinstellung und erneute Formulierung nach einem Fehler gehören zum Produkt. Wer nur einen isolierten Prompt testet, bewertet nicht das vollständige Gesprächssystem.

Hinzu kommt das Risiko der Optimierung auf bekannte Fragen. Wenn Entwickler dieselben Beispiele wiederholt verwenden, kann der Prompt genau dort hervorragend wirken und bei neuen Verläufen scheitern. Entwicklungsfälle und unangetastete Prüffälle müssen deshalb getrennt bleiben und ihre Herkunft dokumentiert werden.

Subjektive Erfolgsmaße dominierten

89 Studien, also 65 Prozent, verwendeten subjektive Verfahren, um erfolgreiche Chatbot-Leistung zu definieren. Fachurteile sind in medizinischen Fragen wichtig, doch ihre Kriterien und Übereinstimmung müssen nachvollziehbar sein.

Begriffe wie hilfreich, vollständig oder empathisch können unterschiedlich verstanden werden. Eine Antwort kann medizinisch korrekt, aber für Laien unverständlich sein. Sie kann zugänglich formulieren und dennoch einen entscheidenden Sicherheitshinweis auslassen.

Gute Bewertung trennt daher Dimensionen: faktische Richtigkeit, Vollständigkeit, Verständlichkeit, Unsicherheit, Personalisierungsgrenze und mögliche Risiken. Ein Gesamturteil verdeckt, warum eine Antwort bestanden hat.

Mehrere unabhängige Bewertende und eine dokumentierte Übereinstimmung können subjektive Maße verbessern. Noch stärker wird die Prüfung, wenn objektive Fehlerkriterien hinzukommen: erfundene Quellen, falsche Dosierungen, ausgelassene Warnzeichen oder eine Empfehlung, die ohne Untersuchung nicht gegeben werden dürfte.

Neun Fragen sind keine Versorgung

Die ergänzende Rhinoplastik-Studie stellte ChatGPT neun Fragen aus einer Checkliste der American Society of Plastic Surgeons. Erfahrene Fachärzte bewerteten Zugänglichkeit, Informationsgehalt und Genauigkeit.

Die Antworten waren kohärent und verständlich und betonten eine individuelle Herangehensweise. Gleichzeitig fehlten detailliertere oder personalisierte Ratschläge. Die Arbeit ordnete sich selbst als Beobachtungsstudie auf Evidenzniveau V ein.

Das Ergebnis zeigt mögliche Informationsqualität in einer begrenzten Simulation. Es beweist weder sichere Beratung in beliebigen Fällen noch Verhalten über längere Dialoge. Ein gutes Erstgespräch auf neun vorbereitete Fragen ist keine klinische Integration.

Empathie verändert die Bewertung zusätzlich

Liu und Sundar untersuchten in zwei Experimenten mit 158 und 88 Teilnehmenden medizinische Chatbot-Beratung zu einem sensiblen persönlichen Thema. Sympathie sowie kognitive und affektive Empathie wurden positiver bewertet als rein emotionslose Beratung.

Der Effekt war besonders bei Menschen ausgeprägt, die anfangs skeptisch waren, ob Maschinen soziale kognitive Fähigkeiten besitzen. Damit wird deutlich, dass Ton die Wahrnehmung von Gesundheitsrat beeinflusst.

Eine methodisch saubere Studie muss deshalb Inhalt und soziale Darstellung auseinanderhalten. Eine sympathische Antwort kann besser gefallen, ohne medizinisch richtiger zu sein. Umgekehrt kann eine korrekte Antwort durch unangemessenen Ton an Nutzbarkeit verlieren.

Berichtsstandards sind Teil der Sicherheit

Die Übersicht soll die Entwicklung des Chatbot Assessment Reporting Tool, kurz CHART, unterstützen. Ein solcher Standard kann festlegen, welche Informationen Studien zu Modell, Version, Abfragedatum, Prompts, Bewertung und Sicherheit offenlegen sollen.

Für Produktentwickler gilt dasselbe Prinzip. Modellname, Promptversion, Testfälle und Änderungen müssen dokumentiert werden. Nur dann lässt sich nachvollziehen, warum ein Ergebnis besser oder schlechter geworden ist und ob ein Update ungeprüfte Nebenwirkungen erzeugt.

137 Studien klingen nach einer breiten Evidenzbasis. Ohne reproduzierbare Versuchsanordnung bleibt ein großer Teil davon schwer vergleichbar. Gute Forschung beginnt deshalb nicht mit der überzeugendsten Antwort, sondern mit einer Beschreibung, die anderen erlaubt, den Test wirklich nachzuvollziehen.