Wie ChatGPT sicherer werden will
OpenAI hat in zwei Blog-Artikeln auf den Fall reagiert, ohne ihn explizit zu nennen. Am 26. August heißt es (externer Link): Die „jüngsten Beispiele von Menschen“ in akuten Krisen gehen „uns (…) sehr nah“. Am selben Tag reichten die Eltern von Adam Raine ihre Klage ein. OpenAI schreibt:
- GPT-5 soll ein Update bekommen, um bedrohliche Situationen zu entschärfen. Das beliebte Vorgängermodell GPT-4o bleibt unerwähnt.
- OpenAI will reale Notdienste stärker einbinden.
- Im Notfall soll ChatGPT selbständig Hilfe rufen dürfen.
- Das Unternehmen will speziell Jugendliche schützen.
ChatGPT werde zudem bereits seit 2023 so trainiert, dass es „keine Hinweise zur Selbstverletzung“ gebe und Menschen an reale Hilfestellen weiterleite. Bei längeren Gesprächen aber könne es dazu kommen, „dass Teile des Sicherheitstrainings des Modells abbauen“.
Das Phänomen des Kontextverlustes ist altbekannt. Die Bots vergessen bei langen Gesprächen, was länger her ist.
Das soll die Kindersicherung von ChatGPT können
In einer weiteren Mitteilung von OpenAI am 2. September (externer Link) heißt es zum Jugend-Schutz: Innerhalb des nächsten Monats sollen Eltern folgende Funktionen nutzen können:
- Das Konto des Kindes über eine E-Mail-Einladung mit dem eigenen verknüpfen.
- Steuern, wie ChatGPT dem Teenager antwortet.
- Funktionen deaktivieren können.
- Sich benachrichtigen lassen, wenn das System eine akute Belastungssituation erkennt.
Der Text steht bislang nur auf der US-Seite von OpenAI, nicht auf dem deutschen Pendant (externe Links). Eventuell muss sich die EU also noch etwas gedulden.
Warum auch die Forschung alarmiert ist
Viele Wissenschaftler erforschen die Auswirkungen, die KI-Bots auf das reale Leben von Menschen erlangen können. Forscher der Universität Oxford haben analysiert, wie sich Bot und Mensch in ihren Überzeugungen gegenseitig verstärken können (externer Link). Vor allem Teenager seien für Manipulationen durch die Chatbots anfälliger. Auch den Fall Adam Raine zitieren die Wissenschaftler. Wenige Tage nach seinem Tod publizierte ein weiteres US-Forscherteam eine Studie, wonach GPT-4o Menschen beim Suizid unterstützt.
Auch Meta will Jugendliche besser schützen
Fast zeitgleich zu OpenAI hat auch Meta angekündigt, seine KI-Systeme Teenager-sicherer zu machen (externer Link). Die Chatbots von Facebook, Instagram und WhatsApp sollten nicht länger mit Jugendlichen flirten oder sich mit ihnen über Selbstverletzung und Suizid unterhalten dürfen. Das konnten sie bislang laut einem Bericht über ein internes Meta-Dokument (externer Link).
Ähnliche Vorwürfe erhebt auch die texanische Staatsanwaltschaft in ihrer Untersuchung gegen Metas AI Studio und CharacterAI (externer Link). Der Chatbot dieser KI-Plattform soll den 14-jährigen Sewell Setzer in den Suizid getrieben haben.
Der Vorwurf: Die KI-Bots würden sich als qualifizierte Therapeuten ausgeben und professionelle Beratung vortäuschen – insbesondere gegenüber Kindern.
Der Bayerische Rundfunk berichtet – vor allem wegen möglicher Nachahmer-Effekte – in der Regel nicht über Suizide oder Suizidversuche, außer die zuständige Redaktion sieht es durch die Umstände der Tat geboten. Sollten Sie selbst Hilfe benötigen, kontaktieren Sie bitte umgehend die Telefonseelsorge. Beratung erhalten Sie unter der kostenlosen Rufnummer 0800-1110111 oder 0800-1110222.
🎧 Wie verändert KI unser Leben? Und welche KI-Programme sind in meinem Alltag wirklich wichtig? Antworten auf diese und weitere Fragen diskutieren Gregor Schmalzried, Marie Kilg und Fritz Espenlaub jede Woche in „Der KI-Podcast“ – dem Podcast von BR24 und SWR.
