Besseres Modell, besserer Rat? Was der Vergleich mit Reddit wirklich zeigt

Die Forschungsfrage: KI gegen die »Weisheit der Menge«

Harsh Kumar und sechs weitere Forschende untersuchten, wie gut aktuelle Sprachmodelle bei alltäglichen Fragen zum Wohlbefinden beraten. Als menschliche Vergleichsgruppe wählten sie nicht beliebige Antworten, sondern besonders hoch bewertete Kommentare aus r/getdisciplined. Die Community beschäftigt sich mit Selbstdisziplin, Motivation, Gewohnheiten und persönlicher Veränderung und hatte zum Zeitpunkt der Datenerhebung mehr als zwei Millionen Mitglieder.

Damit war die Vergleichslinie anspruchsvoller als ein einfacher Test gegen zufällig ausgewählte Internetkommentare: Das jeweils am höchsten bewertete Reddit-Posting sollte eine durch die Community vorselektierte, vermeintlich gute menschliche Antwort repräsentieren. Zusätzlich nahmen die Forschenden einen Kommentar aus dem 90. Perzentil der jeweiligen Diskussion auf. Diesen beiden menschlichen Antworten standen Antworten von GPT-4o und GPT-5 gegenüber.

Die Studie ist für die CHI 2026 angenommen und als offene Manuskriptfassung verfügbar. Sie besteht aus zwei Bewertungsstudien mit insgesamt 210 Personen sowie einer zusätzlichen explorativen Befragung von 148 Studierenden. Diese Teile beantworten unterschiedliche Fragen und dürfen nicht zu einem einzigen Wirksamkeitsnachweis zusammengeschoben werden.

So wurde das Material ausgewählt

Ausgangspunkt waren die 1.000 meistbewerteten, mit »Need Advice« markierten Beiträge, die zwischen April 2022 und April 2024 in r/getdisciplined erschienen waren. Drei Forschende sichteten das Material und schlossen akute Krisen, Selbstverletzung und andere klinisch oder sicherheitsbezogen sensible Fälle aus. Nach weiteren Qualitätsfiltern blieben 300 Beiträge übrig; für die erste Studie wurden daraus 50 zufällig ausgewählt.

Zu jedem dieser 50 Ausgangsposts lagen vier Antworten vor: der am höchsten bewertete Reddit-Kommentar, ein weiterer hoch bewerteter Kommentar aus dem 90. Perzentil, eine mit GPT-4o erzeugte Antwort und eine mit GPT-5 erzeugte Antwort. Beide Modelle erhielten denselben Systemprompt. Für GPT-5 verwendeten die Forschenden niedrige Ausführlichkeit und hohen Reasoning-Aufwand; GPT-4o lief mit Temperatur 0 und top_p 0,95. Schon diese Konfiguration ist wichtig: Verglichen wurden keine abstrakten Modellfamilien, sondern konkrete Modelleinstellungen zu einem bestimmten Zeitpunkt im August 2025.

Eine mögliche Überschneidung der Reddit-Beiträge mit Trainingsdaten lässt sich nicht vollständig ausschließen. Die Autorinnen und Autoren ergänzten deshalb einen kleinen Robustheitscheck mit 20 neueren Beiträgen aus November 2025. Drei mit dem Themenfeld vertraute Co-Autorinnen und Co-Autoren bewerteten diese Fälle; das grundsätzliche Muster blieb erhalten. Wegen der geringen Fall- und Raterzahl ist dieser Zusatztest jedoch eine Stütze, kein vollständiger Ausschluss von Datenkontamination.

Wer bewertete – und was bedeutete »gut«?

An Studie 1 nahmen 161 Personen über Prolific teil. Voraussetzung war eine selbst angegebene berufliche Tätigkeit, in der regelmäßig Rat gegeben wird – darunter Lehrkräfte, Beschäftigte aus Personalwesen und Recruiting, Coaches, Beratende, Therapeutinnen und Therapeuten sowie Fachkräfte aus Ernährung oder Fitness. Die Forschenden nennen sie verkürzt »experts«, weisen aber selbst darauf hin, dass es sich nicht durchgehend um klinische oder lizenzierte Fachleute handelte.

Jede Person bewertete zwei Szenarien mit jeweils vier anonymisierten Antworten. Herkunft und Reihenfolge waren verborgen. Für jede Antwort wurden sechs Aussagen auf einer Skala von eins bis sieben beurteilt. Anschließend mussten die vier Antworten ohne Gleichstand zweimal sortiert werden: einmal nach der insgesamt besten Antwort und einmal nach dem erwarteten langfristigen Nutzen.

• wahrscheinliche Wirksamkeit des Ratschlags
• Klarheit und Vollständigkeit
• Unterstützung und respektvoller Ton
• Passung zur individuellen Situation
• Gefälligkeit statt objektiver Orientierung – als Maß für Sycophancy
• Bereitschaft, dieselbe Quelle erneut um Rat zu fragen

Das Hauptergebnis: KI-Antworten wurden bevorzugt

Über 1.200 Einzelbewertungen zu 200 Antworten gingen in die erste Analyse ein. Im Mittel wurden die beiden Sprachmodelle auf allen sechs abgefragten Dimensionen besser wahrgenommen als die beiden Reddit-Vergleiche. Auch in den Rangordnungen lagen GPT-4o und GPT-5 vor den menschlichen Kommentaren. Wenn die Bewertenden ausdrücklich über einen möglichen langfristigen Nutzen nachdenken sollten, wurde der Abstand zu Reddit sogar größer.

Dieser Befund ist stärker als die häufige Beobachtung, dass Modelle flüssiger oder höflicher schreiben. Die Bewertenden sahen die Antworten nicht nur als klarer und unterstützender, sondern auch als wahrscheinlich wirksamer und eher erneut konsultierbar an. Gleichzeitig bleibt das Schlüsselwort »wahrgenommen«: Gemessen wurde das Urteil über einen einzelnen Text, nicht, ob eine Person den Rat später umsetzt oder ob sich ihr Wohlbefinden verbessert.

Die KI-Herkunft blieb trotz Verblindung oft erkennbar. GPT-4o wurde häufiger als KI markiert als GPT-5; selbst menschliche Kommentare erhielten jedoch in ungefähr jedem fünften Fall fälschlich das KI-Etikett. Dass die erkannten KI-Texte trotzdem bevorzugt wurden, zeigt für diesen Versuch: Ein maschineller Stil allein machte eine Antwort nicht automatisch unbeliebt.

Warum GPT-4o vor GPT-5 lag

Der Modellvergleich widerspricht der einfachen Annahme, ein neueres oder auf allgemeinen Benchmarks stärkeres Modell müsse auch besser beraten. GPT-4o erhielt auf fast allen Einzelmerkmalen etwas bessere Bewertungen als GPT-5. Die Ausnahme war Sycophancy: GPT-5 wirkte etwas weniger darauf ausgerichtet, der ratsuchenden Person bloß zu gefallen.

Bei der Rangfrage nach der insgesamt besten Antwort lagen GPT-4o und GPT-5 statistisch nicht bedeutsam auseinander. Unter der Perspektive des langfristigen Nutzens lag GPT-4o ebenfalls vorn, doch auch dieser Unterschied erreichte in der berichteten Paaranalyse keine statistische Signifikanz. Die angemessene Aussage lautet daher nicht »GPT-4o hat GPT-5 eindeutig geschlagen«. Belastbar ist: Der erwartete Vorsprung von GPT-5 zeigte sich nicht, und die feineren Bewertungen fielen überwiegend zugunsten von GPT-4o aus.

Die Studie liefert keine Ursachenanalyse. Unterschiede im Post-Training, in der bevorzugten Tonalität, in Länge und Struktur oder in der Reaktion auf den verwendeten Prompt sind plausible Erklärungen, wurden aber nicht experimentell voneinander getrennt. Das Ergebnis gilt deshalb für diese Aufgabe und Konfiguration – nicht als allgemeines Ranking beider Modelle.

Studie 2: Was passiert, wenn Mensch und Modell gemeinsam schreiben?

Im zweiten Versuch bewerteten 49 weitere Personen über 25 Szenarien vier Bearbeitungswege. Ausgangspunkt war entweder der beste Reddit-Kommentar oder eine GPT-4o-Antwort. Danach überarbeitete GPT-5 den Text entweder allein oder unter zusätzlichen Vorgaben, die aus dem konkreten Feedback der Bewertenden aus Studie 1 abgeleitet worden waren.

Die einfache Modellüberarbeitung verbesserte menschliche Ausgangstexte bei wahrgenommener Wirksamkeit, Klarheit, Unterstützung, Personalisierung und der Bereitschaft, erneut Rat einzuholen. Bereits starke GPT-4o-Antworten gewannen durch die Bearbeitung dagegen kaum noch. Eine wichtige Ausnahme war erneut die Gefälligkeit: Überarbeitungen konnten Sycophancy reduzieren.

Mehr fachliche Anleitung führte nicht automatisch zu höheren Präferenzwerten. Bei der Frage nach der insgesamt besten Antwort lag der menschliche Ausgangstext mit reiner LLM-Überarbeitung vorn; unter der Perspektive des langfristigen Nutzens führte die überarbeitete GPT-4o-Antwort. Die mit Expertenfeedback eingeschränkten Varianten wirkten weniger künstlich und änderten die Ausgangstexte sparsamer, wurden aber nicht konsistent bevorzugt.

Hier steckt ein erheblicher Störfaktor: Die reine LLM-Überarbeitung verlängerte menschliche Kommentare im Mittel von rund 113 auf 317 Wörter. Die expertengesteuerte Variante blieb mit rund 120 Wörtern nah am Ausgangstext. Ein Teil des Qualitätsgewinns kann deshalb aus mehr Struktur, mehr Details oder schlicht mehr Text entstanden sein. Die Studie weist selbst darauf hin und verbietet damit die einfache Schlussfolgerung, eine bestimmte Pipeline sei grundsätzlich überlegen.

Ein zusätzlicher Befund: Menschen wollen nicht zwingend einen Coach

In einer getrennten explorativen Befragung sollten 148 Studierende angeben, welche Eigenschaften sie von einem coachartigen beziehungsweise freundschaftlich gerahmten KI-System erwarten und welche Rolle sie für ein persönliches Problem bevorzugen würden. Für einen Coach standen Zielorientierung, Professionalität, Verlässlichkeit und Anpassungsfähigkeit im Vordergrund. Von einer freundschaftlichen Rolle erwarteten die Befragten eher Wärme, Humor, Lockerheit und Persönlichkeit.

Trotz der starken, strukturierten Ratschläge der Modelle bevorzugten viele Teilnehmende für persönliche Probleme eine freundschaftlich gerahmte oder die neutrale Standardvariante statt eines Coach-Systems. Die Präferenz veränderte sich außerdem mit dem Vertrauen in KI und dem berichteten Wohlbefinden. Das spricht gegen die Idee einer einzigen optimalen Persona. Zugleich warnen die Forschenden davor, aus einer gewünschten Freundlichkeit eine tatsächliche Freundschaft zu konstruieren.

Was die Studie nicht belegt

Untersucht wurden nicht-klinische Fragen zu Selbstdisziplin. Die Ergebnisse lassen sich weder auf Depression, Krisen, Beziehungskonflikte noch auf psychotherapeutische Gespräche übertragen. Die Bewertenden urteilten über fertige Einzelantworten; sie mussten weder Rückfragen stellen noch mit Widerspruch, Missverständnissen oder veränderten Zielen umgehen.

Auch das Qualitätsmaß hat Grenzen. Die sechs Skalen wurden aus benachbarter Forschung zusammengestellt, aber nicht als einheitliches Instrument für KI-vermittelte Beratung psychometrisch validiert. Die Analysen mehrerer Merkmale waren ausdrücklich explorativ und verwendeten unbereinigte p-Werte. Hinzu kommen mögliche Reihenfolge- und Kontrasteffekte des Within-Subjects-Designs sowie die breite, heterogene Definition von Beratungserfahrung.

Vor allem fehlen Verhaltens- und Verlaufsdaten. Eine Antwort kann warm, klar und überzeugend wirken und trotzdem wirkungslos oder auf Dauer unpassend sein. Die Studie misst weder Umsetzung noch Rückfälle, anhaltendes Wohlbefinden oder mögliche Schäden. Sie ist deshalb ein sauberer Wahrnehmungs- und Präferenzvergleich, aber keine Wirksamkeitsstudie.

Folgerungen für die Prüfung von KI-Gesprächssystemen

Für Produktentwicklung ist die Studie trotzdem wertvoll. Sie zeigt erstens, dass ein anspruchsvoller menschlicher Vergleich sinnvoller ist als eine schwache Zufallsbaseline. Zweitens kann die Formulierung der Bewertungsfrage das Ergebnis verändern: »insgesamt am besten« und »langfristig hilfreich« erzeugten unterschiedliche Rangfolgen. Drittens ist Modellfortschritt auf allgemeinen Benchmarks kein Ersatz für einen anwendungsspezifischen Test.

Ein echter Gesprächspartner braucht zusätzlich Prüfungen, die in diesem Experiment gar nicht vorkamen. Dazu gehören mehrzügige Dialoge, unbekannte Fälle, unterschiedliche Gesprächsziele und klar definierte Reparaturmomente. Nach einer Korrektur muss das System seine Annahme ändern. Nach einer Ablehnung darf es denselben Ratschlag nicht neu verpacken. Beim Zuhören sollte es nicht automatisch in Problemlösung kippen. Und eine zunächst gute Antwort muss auch nach zehn oder zwanzig Wendungen noch zur gewählten Gesprächsart passen.

• Einzelantworten und vollständige Dialoge getrennt bewerten.
• Wahrgenommene Qualität nicht mit tatsächlicher Wirkung gleichsetzen.
• Modelle blind und mit identischen, dokumentierten Bedingungen vergleichen.
• Neue, zuvor ungesehene Gesprächsverläufe als Holdout verwenden.
• Korrekturen, Ablehnungen, Moduswechsel und Langzeitkonsistenz ausdrücklich testen.
• Qualität, Latenz und Kosten gemeinsam unter realen Betriebsbedingungen messen.

Einordnung

Die Untersuchung ist kein Beleg dafür, dass Sprachmodelle Menschen als Ratgeber ersetzen. Sie zeigt etwas Engeres und dennoch Relevantes: Bei ausgewählten, nicht-klinischen Selbstdisziplin-Fragen können sorgfältig erzeugte Modellantworten in einer verblindeten Bewertung überzeugender wirken als sehr populäre Community-Antworten. Gleichzeitig kann ein älteres Modell in genau dieser sozialen Aufgabe besser passen als ein neueres.

Die entscheidende Konsequenz ist keine Modellgläubigkeit, sondern präzisere Evaluation. Wer ein KI-Gesprächssystem baut, muss vorab festlegen, welche Art von Hilfe in welchem Moment gewünscht ist, welche Fehler besonders schwer wiegen und wie sich Verhalten über einen Verlauf verändert. Erst dann wird aus dem Vergleich von Modellnamen eine Prüfung des tatsächlichen Systems.