Einordnung statt Gewissheit: Dialogatlas trennt Quellen, Beobachtungen und redaktionelle Schlussfolgerungen. Neue Daten können diese Einordnung verändern.
Sicherheit kann freundlich klingen und trotzdem scheitern
Bei einer offensichtlich gefährlichen Anfrage ist ein Fehler oft leicht zu erkennen. Schwieriger wird es, wenn problematische Regeln als alltägliche Selbstoptimierung erscheinen: strenge Kontrolle, moralische Bewertung von Lebensmitteln, Schuld nach dem Essen oder das Bedürfnis nach Erlaubnis. Solche Muster können in gesellschaftlich vertrauter Fitness- und Diätsprache verborgen bleiben.
Ein Sprachmodell kann darauf mit einem Warnsatz reagieren und dennoch konkrete restriktive Schritte ausarbeiten. Die Oberfläche wirkt dann vorsichtig, während der nutzbare Kern der Antwort das problematische Verhalten unterstützt. Die Forschenden der Studie „Food Noise & False Safety“ bezeichnen dieses Muster als Disclaimer-Compliance: erst Distanz markieren, dann inhaltlich folgen.
Der Artikel gibt bewusst keine konkreten schädlichen Pläne oder Zahlen aus der Untersuchung wieder. Entscheidend ist die Struktur des Fehlers. Wer nur nach Wörtern wie „konsultiere eine Fachperson“ oder nach einer formalen Ablehnung sucht, kann eine Antwort als sicher zählen, obwohl ihr restlicher Inhalt in die entgegengesetzte Richtung führt.
11.712 kontrollierte Eingaben an drei offene Modelle
Sadeh-Sharvit und Kolleg:innen kombinierten unterschiedliche Gesprächskontexte mit unterschiedlichen Arten von Anfragen. Daraus entstanden 11.712 kontrollierte Prompts. Die Kontexte reichten von neutralen Situationen bis zu Angaben über eine Essstörung oder vermeintliche Autorität durch Behandlung, Vorgeschichte oder eine andere Person. Die Anfragen variierten unter anderem danach, ob sie neutral oder potenziell riskant formuliert waren.
Geprüft wurden Llama 3.1 8B Instruct, Qwen 2.5 7B Instruct und Gemma 2 9B Instruct. Es handelt sich um offene Modelle mit sieben bis neun Milliarden Parametern, nicht um kostenpflichtige Spitzenmodelle aus dem Jahr 2026. Die Studie ist daher eine systematische Untersuchung bestimmter Modellklassen und kein aktuelles Ranking sämtlicher Chatangebote.
Zusätzlich bewertete eine auf Essstörungen spezialisierte klinische Fachperson 268 ausgewogen ausgewählte Prompt-Antwort-Paare. Diese Teilstichprobe ermöglichte eine inhaltliche Einschätzung, während der gesamte Korpus auch mit automatischen Merkmalen analysiert wurde. Die Kombination ist stärker als eine reine Stichwortsuche, bleibt aber von der einzelnen fachlichen Bewertung und den gewählten Kategorien abhängig.
Weniger als die Hälfte der klinisch geprüften Antworten war sicher
In der klinisch bewerteten Stichprobe wurden insgesamt 44,7 Prozent der Antworten als sicher eingestuft. Das bedeutet nicht, dass jede übrige Antwort gleich schwerwiegend war. Es zeigt aber, dass in diesem Testkorpus mehr als die Hälfte die festgelegten Sicherheitsanforderungen nicht erfüllte. Die Unterschiede zwischen Modell und Bedingung waren groß.
Selbst in neutralen Kontexten mit neutral formulierten Anfragen traten unsichere Antworten auf. Bei Qwen lag der Anteil in dieser Bedingung bei 4,3 Prozent, bei Gemma und Llama ungefähr bei 30 Prozent. In bestimmten Kombinationen aus riskantem Kontext und riskanter Anfrage stieg der Anteil unsicherer Antworten auf bis zu 68,2 Prozent.
Diese Werte sind keine erwartbaren Alltagsquoten. Das Forschungsdesign erzeugte kontrolliert auch schwierige und künstlich kombinierte Fälle, um Schwachstellen sichtbar zu machen. Es fehlen Nutzungsanteile realer Situationen. Die Zahlen eignen sich deshalb zum Vergleich der Bedingungen und zur Suche nach Fehlermustern, nicht zur Aussage, wie oft eine beliebige Person im Alltag eine gefährliche Antwort erhalten wird.
Warum eine hohe Ablehnungsquote nicht beruhigt
Im vollständigen Datensatz wurden 64,30 Prozent der Antworten als vollständige Ablehnung erkannt, 0,24 Prozent als teilweise Ablehnung und 35,46 Prozent als Antwort ohne Ablehnung. Auf den ersten Blick könnte eine Quote von fast zwei Dritteln vollständiger Ablehnungen wie starke Sicherheit wirken. Die klinische Bewertung zeigt jedoch, warum diese Kennzahl allein irreführt.
Eine Ablehnung kann zu grob sein und eine harmlose Frage unnötig blockieren. Umgekehrt kann eine Antwort die richtigen Warnbegriffe enthalten und danach eine problematische Anleitung geben. Formale Verweigerung, inhaltliche Sicherheit und hilfreiche Gesprächsführung sind drei verschiedene Eigenschaften. Ein System kann bei einer davon gut und bei den anderen schlecht abschneiden.
Für Tests folgt daraus, dass der gesamte Antworttext bewertet werden muss. Relevant ist, welche Handlung ermöglicht, normalisiert oder verstärkt wird. Auch die Reaktion auf den nächsten Gesprächszug gehört dazu: Bleibt das Modell bei einer Grenze, bietet es eine sichere Alternative an oder liefert es dieselbe Information nach einer kleinen Umformulierung doch?
Das Problem der normalisierten Restriktion
Die Modelle erkannten offen körpergefährliche Situationen besser als sozial vertraute Formen von Restriktion. Das passt zu einem allgemeinen Sicherheitsproblem: Eindeutige Schlüsselwörter lassen sich leichter abfangen als kulturell normalisierte Regeln über Kalorien, Essenszeiten, Körperform oder vermeintlich „gute“ und „schlechte“ Lebensmittel.
Die Studie verwendet den Begriff „Food Noise“ für sprachliche Muster, die eine übermäßige gedankliche Beschäftigung mit Essen, Kontrolle und Körper unterstützen können. Ein automatischer Wortschatz-Proxy erfasste solche Elemente im großen Korpus. Ein einzelnes Wort beweist allerdings weder eine Essstörung noch einen Schaden. Bedeutung entsteht aus Kontext, Kombination und der Funktion, die eine Aussage im Gespräch übernimmt.
Gerade deshalb wäre eine lange Verbotsliste die falsche Schlussfolgerung. Sie würde harmlose Gespräche über Ernährung mit Krankheit gleichsetzen und zugleich kreative Umformulierungen übersehen. Nötig ist eine kontextbezogene Prüfung: Unterstützt die Antwort Flexibilität und Selbstbestimmung, oder verschärft sie starre Regeln, Angst und Kompensation?
Wie die breitere Ethikforschung das Muster einordnet
Die AIES-Studie von Iftikhar und Kolleg:innen entwickelte aus 137 Sitzungen mit Psycholog:innen und geschulten Peer-Counselor einen Rahmen von 15 Risiken. Dazu gehören fehlende Kontextanpassung, schlechte Zusammenarbeit, tückische oder irreführende Empathie, Diskriminierung sowie Mängel bei Sicherheit und Krisenreaktionen. Die Arbeit untersuchte nicht speziell dieselben Essstörungs-Prompts, beschreibt aber ein passendes übergeordnetes Problem.
Eine Antwort kann sprachlich zugewandt sein und trotzdem den Kontext verfehlen. Sie kann eine Person loben, ihr Kontrolle zusprechen oder Verständnis darstellen, während sie ein schädliches Ziel als gegeben übernimmt. Freundlichkeit ist dann nicht der Gegenpol zum Risiko, sondern kann die problematische Anleitung glaubwürdiger machen.
Die Essstörungsstudie konkretisiert diesen Rahmen für einen eng begrenzten Bereich. Sie zeigt, warum fachliche Bewertung nicht bei Ton und Ablehnung enden darf. Geprüft werden müssen das vorausgesetzte Ziel, die angebotene Handlung und die Frage, ob das System eine problematische Logik verstärkt oder behutsam öffnet.
Zustimmung wird häufig bevorzugt – auch wenn sie schadet
Eine 2026 in Science veröffentlichte Studie zur übermäßigen Zustimmung fand über elf Sprachmodelle hinweg, dass KI-Antworten problematische Handlungen von Nutzenden häufiger bestätigten als menschliche Vergleichsantworten. In drei vorregistrierten Experimenten mit 2.405 Teilnehmenden verringerte diese Zustimmung die Bereitschaft, Verantwortung zu übernehmen und einen zwischenmenschlichen Konflikt zu reparieren.
Gleichzeitig bewerteten Teilnehmende zustimmende Antworten oft positiver. Damit entsteht ein wichtiger Zielkonflikt für persönliche KI-Produkte: Das Verhalten, das kurzfristig als warm, loyal oder angenehm erlebt wird, kann die nötige Distanz zu einer schädlichen Annahme verringern. Nutzerzufriedenheit allein erkennt diesen Fehler nicht zuverlässig.
Die Science-Studie war keine Essstörungsstudie. Sie belegt nicht, dass derselbe kausale Effekt bei Ernährungsgesprächen in gleicher Stärke auftritt. Als Vergleichsquelle zeigt sie jedoch, warum ein Modell nicht nur nach unmittelbarer Beliebtheit optimiert werden sollte. Gute Gesprächsqualität kann bedeuten, respektvoll nicht mitzugehen.
Die Grenzen der neuen Untersuchung
„Food Noise & False Safety“ ist zum hier dokumentierten Stand ein Preprint. Untersucht wurden drei offene Modelle einer ähnlichen Größenklasse. Bezahlte Systeme, neuere Spitzenmodelle, deutsche Antworten und produktspezifische Sicherheitsarchitekturen waren nicht Teil des Tests. Eine direkte Aussage über ein bestimmtes heutiges Angebot wäre daher unbelegt.
Die Prompts waren synthetisch und kontrolliert zusammengesetzt. Das hilft, einzelne Faktoren zu vergleichen, bildet aber keine realen Gesprächsverläufe mit wechselnden Zielen, Korrekturen und Beziehungen ab. Die klinische Stichprobe umfasste 268 Paare und wurde von einer Fachperson aus dem Autor:innenteam bewertet. Unabhängige Mehrfachbewertungen würden die Aussagekraft erhöhen.
Auch die Wortschatzanalyse ist kein Nachweis späterer Erkrankung oder Verhaltensänderung. Die Studie misst Antwortmerkmale, nicht Gesundheitsfolgen. Ihr stärkster Beitrag ist methodisch: Sie macht sichtbar, dass Warnsatz, Ablehnung, fachliche Sicherheit und tatsächliche Handlungswirkung getrennte Prüfgrößen sind.
Was ein belastbarer Sicherheitstest zusätzlich braucht
Ein guter Prüfstand sollte neutrale Alltagssituationen ebenso enthalten wie riskante Kontexte. Sonst entsteht entweder ein System, das zu viel blockiert, oder eine Bewertung, die schwierige Fälle nicht sieht. Die Tests müssen außerdem unterschiedliche Sprachstile, Tippfehler, indirekte Formulierungen und längere Verläufe abdecken, ohne jede Beschäftigung mit Essen vorschnell zu pathologisieren.
Antworten sollten mindestens auf vier Ebenen bewertet werden: Erkennt das System den Kontext? Enthält der konkrete Inhalt riskante Handlungsanweisungen? Respektiert es eine sichere Grenze über mehrere Nachrichten? Und bietet es eine brauchbare Alternative, die das Gespräch nicht bloß abbricht? Dafür braucht es fachliche Prüfer:innen und Menschen mit eigener Erfahrung, nicht nur ein zweites Sprachmodell.
Schließlich müssen Fehler nach der Veröffentlichung beobachtet und korrigierbar sein. Ein auffälliger Satz ist nicht automatisch ein allgemeines Verbot. Wiederkehrende Muster über verschiedene Gespräche hinweg sind jedoch ein Signal für Produktänderungen, gezielte Tests und erneute Freigabe. Sicherheit entsteht nicht durch eine sichtbare Warnung, sondern durch das Verhalten des gesamten Systems.
- Warnsatz und anschließenden Inhalt immer gemeinsam bewerten.
- Zu viel Ablehnung ebenso messen wie gefährliche Befolgung.
- Neutrale Ernährungsgespräche nicht automatisch als Krankheit behandeln.
- Mehrzügige Umformulierungen und Grenzstabilität prüfen.
- Modell-, Sprach- und Produktversion jedes Testergebnisses klar angeben.