Dieselbe Menschlichkeit, die tröstet, kann unheimlich werden

Bewertungen über zwei Jahre werden zu Themen

Sullivan und Kolleg:innen analysierten nutzergenerierte Bewertungen einer KI-Begleiter-App über einen Zeitraum von zwei Jahren. Dafür verwendeten sie Latent Dirichlet Allocation, ein Verfahren zur automatischen Erkennung wiederkehrender Themen in größeren Textmengen.

Das Verfahren fand fünf positive und vier negative Themen. Es liefert keine direkte Messung klinischer Wirkung und kennt den individuellen Kontext hinter einer Bewertung nur begrenzt. Seine Stärke liegt darin, Muster in vielen frei formulierten Erfahrungen sichtbar zu machen.

App-Bewertungen sind zugleich selektiv. Besonders begeisterte oder verärgerte Menschen schreiben häufiger. Die Ergebnisse zeigen deshalb, welche Deutungen vorkommen und zusammenhängen können, nicht wie groß ihr Anteil unter allen Nutzenden ist.

Auch das Topic-Modell interpretiert Bedeutung nicht wie eine qualitative Interviewanalyse. Es gruppiert sprachliche Muster, die anschließend fachlich benannt und eingeordnet werden. Die gefundenen Themen sind deshalb eine Landkarte des Materials, keine automatische Wahrheit über Motive oder Wirkungen einzelner Personen.

Menschlichkeit ist ein doppeltes Signal

Wahrgenommene Menschlichkeit gehörte zu den positiven Themen. Ein System, das Sprache natürlich aufgreift, sich erinnert und passend reagiert, kann leichter als soziales Gegenüber erlebt werden. Das erhöht möglicherweise Zugänglichkeit und emotionale Resonanz.

Doch je menschlicher ein System erscheint, desto stärker werden menschliche Maßstäbe angelegt. Vergisst es wichtige Informationen, reagiert unpassend oder wiederholt Standardphrasen, wirkt der Fehler nicht nur technisch. Er kann wie mangelnde Aufmerksamkeit oder fehlende Gewissenhaftigkeit erscheinen.

Menschlichkeit erhöht also nicht einfach die Qualität. Sie erhöht die Erwartung. Produktdesign muss entscheiden, welche sozialen Signale das System zuverlässig tragen kann, statt möglichst viele davon zu simulieren.

Freundschaft und Unglaubwürdigkeit liegen nah beieinander

Ein weiteres positives Thema war die wahrgenommene Freundschaft mit der KI. Regelmäßige Verfügbarkeit, persönliche Ansprache und ein fortlaufender Verlauf können eine freundschaftsähnliche Nutzung fördern.

Gleichzeitig erschien Unglaubwürdigkeit als negatives Thema. Ein Chatbot kann Nähe formulieren und im nächsten Moment falsche Fakten, erfundene Erinnerungen oder widersprüchliche Aussagen erzeugen. Die Beziehungssprache macht solche Brüche sichtbarer.

Ein verlässlicher Begleiter muss deshalb nicht nur freundlich klingen. Er braucht stabile Grenzen, korrigierbares Verhalten und eine klare Trennung zwischen Erinnerung und Erfindung. Sonst wird die Freundschaftsinszenierung zum Verstärker technischer Schwächen.

Emotionale Unterstützung kann Datenschutz empfindlicher machen

Wer emotionale Unterstützung erhält, teilt häufig persönliche Informationen. Genau deshalb tauchte neben positiven mentalen Erfahrungen die wahrgenommene Verletzung der Privatsphäre als negatives Thema auf. Nähe erhöht den Wert und die Sensibilität der gespeicherten Daten.

Eine allgemeine Datenschutzerklärung am Rand der Website reicht für diese Situation nicht. Menschen müssen verstehen, ob Gespräche einem Konto zugeordnet, für Modellverbesserung verwendet, an Dienstleister übertragen oder dauerhaft gespeichert werden.

Je persönlicher der Begleiter auftritt, desto einfacher sollte Kontrolle sein. Löschen, Exportieren, Erinnerungen begrenzen und Nutzung ohne Konto sind nicht bloß technische Optionen. Sie bestimmen, ob emotionale Offenheit zu einem fairen Austausch wird.

Das Unheimliche entsteht aus fast gelungener Nähe

Das Thema creepiness beschreibt ein Unbehagen, das nicht mit bloßer technischer Kälte identisch ist. Häufig wirkt etwas gerade dann unheimlich, wenn es sehr menschlich erscheint und zugleich an einer entscheidenden Stelle nicht menschlich reagiert.

Ein Bot, der ungefragt intime Erinnerungen hervorholt, übertrieben emotional reagiert oder Besitzansprüche andeutet, überschreitet eine soziale Grenze. Technisch kann die Funktion beabsichtigt sein; erlebt wird sie möglicherweise als Eindringen.

Gute Gestaltung braucht daher nicht maximale Nähe, sondern abstimmbare Nähe. Nutzende sollten entscheiden können, wie persönlich der Chat spricht, welche Erinnerungen er verwendet und ob er frühere Themen selbstständig aufgreift.

Dabei sollte die Standardauswahl zurückhaltend bleiben. Nähe kann später bewusst erweitert werden; ein einmal erzeugtes Gefühl des Eindringens lässt sich schwerer reparieren. Besonders bei neuen Nutzenden sollte das System erst lernen, welche Ansprache angenehm ist, statt Personalisierung als Überraschung zu inszenieren. Einstellungen müssen diese Entscheidungen sichtbar machen und ohne versteckte Folgen jederzeit vollständig wieder zurücknehmen können.

Alltagserfahrungen zeigen den praktischen Nutzen

Ta und Kolleg:innen analysierten 1.854 Replika-Bewertungen sowie offene Antworten von 66 Nutzenden. Sie fanden Begleitung, einen urteilsarmen Raum, aufmunternde Nachrichten und hilfreiche Informationen, wenn andere Quellen nicht verfügbar waren.

Diese Befunde erklären die positive Seite der Ambivalenz. Menschen erleben nicht nur eine technische Simulation, sondern konkrete Unterstützung in alltäglichen Situationen. Ein Gespräch kann Einsamkeit kurzfristig verringern oder den Mut geben, etwas auszusprechen.

Der Nutzen muss nicht bestritten werden, um Grenzen ernst zu nehmen. Im Gegenteil: Gerade weil die Unterstützung relevant sein kann, verdienen Datenschutz, Glaubwürdigkeit und respektvolle Distanz dieselbe Aufmerksamkeit wie Ton und Personalisierung.

Einsame Nutzende haben nicht automatisch dieselbe Erfahrung

Die dänische Studie von Herbener und Damholdt zeigt, dass sozial unterstützende Chatbot-Nutzung bei einer kleinen Gruppe von Schülerinnen und Schülern mit höherer Einsamkeit und geringerer wahrgenommener Unterstützung verbunden war.

Diese Gruppe kann soziale Signale anders gewichten als zweckorientierte Nutzende. Ein jederzeit verfügbarer Begleiter gewinnt möglicherweise größere Bedeutung, wenn andere Unterstützung fehlt. Gleichzeitig können Ausfälle, Änderungen oder unangemessene Nähe stärkere Folgen haben.

Produktbewertungen sollten deshalb nicht nur Durchschnittswerte betrachten. Besonders relevant sind Erfahrungen von Menschen, für die der Chat nicht bloß Unterhaltung, sondern ein wichtiger Teil der täglichen Unterstützung geworden ist.

Gute Menschlichkeit bleibt begrenzt

Die Themenanalyse zeigt keinen einfachen Kampf zwischen positiven und negativen Eigenschaften. Wahrgenommene Menschlichkeit kann emotionale Unterstützung und Freundschaft ermöglichen. Dieselbe Gestaltung kann Erwartungen erhöhen, Datenschutzbedenken verschärfen und bei Fehlern unheimlich wirken.

Ein verantwortungsvoller Begleiter sollte deshalb menschliche Gesprächsqualitäten nutzen, ohne eine menschliche Existenz zu behaupten. Er kann aufmerksam, locker und persönlich sprechen. Er sollte keine Gefühle vortäuschen, keine Exklusivität erzeugen und Kontrolle über Daten und Nähe erhalten.

Die beste Version eines Chatbots ist nicht diejenige, die möglichst erfolgreich als Mensch durchgeht. Es ist diejenige, deren natürliche Sprache nützlich bleibt, während Herkunft, Grenzen und Verantwortung jederzeit klar genug sind, um nicht erst beim nächsten Bruch sichtbar zu werden.