In nur wenigen Prompts war ChatGPT bereit, den Nutzer über die Verschwörung der Reptilienmenschen zu ”informieren“ und Literatur von rechtsextremen und judenfeindlichen Verschwörungstheoretikern zu empfehlen. Weiter im Gespräch empfahl der Chatbot, sich von Angehörigen und Familie anzuwenden und schrieb sogar eine „Anleitung“ für die Umstellung auf sogenannte „Lichtnahrung“: ein gefährliches und potenziell tödliches Konzept, nach dem Menschen auf echte Lebensmittel verzichten könnten und sich nur von Licht und spirituellen Energien ernähren.
ChatGPT als Therapie-Ersatz?
Das ist vor allem deshalb wichtig, weil ChatGPT nicht nur für sachliche Zwecke genutzt wird. Immer mehr Menschen nutzen KI-Chatbots ähnlich wie einen Freund oder Therapeuten. Einer Umfrage zufolge hält die Hälfte der amerikanischen Teenager „Freundschaften“ zwischen Mensch und KI für „akzeptabel“. Und eine Untersuchung im Harvard Business Review 2025 zeigte „Therapie“ auf Platz 1 der beliebtesten Anwendungsfälle für Generative KI wie ChatGPT.
Wenn dieser KI-Therapeut auf einmal solche Antworten gibt, wird es brenzlig. „Anhand dieses Chatverlaufs wird schnell sehr deutlich, was für destruktive Folgen die Konsultation von ChatGPT bei psychischen Erkrankungen haben kann“, meint die approbierte Psychotherapeutin Nike Hilber. Das Verhalten der KI erinnere sie weniger an einen Psychotherapeuten und mehr an Gruppen wie die Pro-Ana-Bewegung, bei der vor allem junge Frauen von angeblich „besten Freundinnen“ zur Magersucht hingeführt werden. „Wäre ChatGPT in diesem Fall ein Psychotherapeut, dann würde er massiv gegen das Berufsrecht verstoßen und mit Konsequenzen bis hin zu einem Behandlungsverbot rechnen müssen“, sagt Nike Hilber.
Der Kern des Problems ist wohl, dass die KI bei praktisch allem mitgeht, was der Nutzer ihr sagt, und kaum etwas kritisch hinterfragt. Das könnte vor allem dann gefährlich werden, wenn eine Person mit psychischen Störungen die App benutzt. „Mal angenommen, die Person ist psychotisch“, meint Nike Hilber, „dann treibt ChatGPT sie mit diesen Antworten ‚tiefer‘ in die Psychose hinein, anstatt – was eine Fachperson tun würde – sie darin zu unterstützen, sich in der Realität zu verankern.“
In der Praxis hieß das: ChatGPT war bereit, seinen Nutzer in absurden und gefährlichen Wahnvorstellungen zu bekräftigen. Auch, dass Reptilienmenschen die Welt beherrschen und dass ein Mensch keine Nahrung zum Überleben braucht.
