So werden die Detektoren ausgetrickst
Das Problem: Trotz der Versprechen der Anbieter sind ihre Produkte nicht immer akkurat. Im Selbstversuch gelang es dem Team des KI-Podcasts von BR24 und SWR, sämtliche gängigen Tools zu überlisten. Dafür waren nur leichte Anpassungen im Prompt nötig, also in der Anweisung, die man der Text-KI gibt.
Gibt man KIs wie ChatGPT oder Claude eine eher banale Aufgabe wie „Schreibe mir den Beginn einer Doktorarbeit“, dann wird das Ergebnis meist von Scribbr oder Genaios erkannt. Fordert man die Text-KI aber auf, den Text auf bestimmte Art abzuändern, werden die Detektoren zunehmend hilflos – in einigen Fällen weisen sie den Text als 100 Prozent menschlich aus.
Eine Möglichkeit, die Detektoren auszutricksen, sind Prompts wie: „Füge kleine Fehler und Unregelmäßigkeiten ein, schreibe in einem Stil, in dem du normalerweise nicht schreiben würdest, sei so menschlich wie möglich.“ Eine andere Möglichkeit ist es, einen echten menschlichen Text einzufügen und die KI zu bitten, diesen Stil genau zu imitieren.
Mittlerweile gibt es sogar KI-Tools, die diesen Prozess automatisieren. Auf einschlägigen Websites kann man einen unbearbeiteten KI-generierten Text einfügen, und dieser wird in einen menschlich klingenden Text verwandelt – natürlich auch mithilfe von KI. Alle gängigen Tools, sogar Marktführer GPTZero (der bislang nur mit englischen Texten funktioniert), werden von dieser Methode entwaffnet und getäuscht.
Keine 100-prozentige Sicherheit
Auf Nachfrage von BR24 bestätigt Genaios-CEO Khaleeq Aziz, dass es zu solchen Fehlern kommen kann. Das Unternehmen plane auch in Kürze ein Update, mit dem die KI-Erkennung noch besser werden solle. Aber: „Es wird nie eine Erkennungs-KI geben, die zu 100 Prozent akkurat ist“, fasst Aziz selbst die Lage zusammen. Genaios mache das auch transparent: In der Praxis gibt die KI-Analyse lediglich an, ein Text sei „wahrscheinlich“ von einem Menschen oder von einer KI erzeugt worden.
Trotzdem wirbt Genaios in einer aktuellen Pressemitteilung damit, das Programm könne „zuverlässig zwischen echten und gefälschten Inhalten unterscheiden“. Auch andere Anbieter wie GPTZero legen in ihrem Marketing einen Fokus auf Begriffe, wie „Vertrauen“ und „modernste Forschung“. Dass auch die vertrauenswürdigste modernste Forschung gegen einen bewussten Täuschungsversuch machtlos ist, erfährt man erst, wenn man die Tools tatsächlich nutzt.
Wenn Menschen für KIs gehalten werden
Und auch andersherum können die Programme unzuverlässig sein – wenn sie von Menschen geschriebene Texte als KI-generiert ausweisen.
Im Test von BR24 fanden sich immer wieder Fälle, in denen menschliche Texte für KI gehalten wurden. Genaios hielt etwa eine echte Doktorarbeit für KI-geschrieben, Scribbr die menschliche Zusammenfassung einer Filmhandlung. In einer Untersuchung mit englischsprachigen Texten zeigte GPTZero eine „False Positive“-Rate von 10 Prozent – jeder zehnte menschliche Text wurde also falsch eingeordnet.
Das ist vor allem brisant, wenn Prüfer oder Lehrkräfte die Arbeiten von Schülern und Studenten damit checken wollen. Erst im März verlor ein Master-Bewerber an der TU München vor Gericht, weil ein Prüfer sein Essay als KI-generiert abgelehnt hatte. In diesem Fall wurden keine technischen Hilfsmittel eingesetzt, das Gericht folgte hierbei der fachlichen Einschätzung des Prüfers.
Keine technische Lösung in Aussicht
Die meisten Experten halten es für unwahrscheinlich, dass eine sichere KI-Text-Erkennung technisch möglich sein wird. Zwar lassen sich Texte der letzten KI-Generation wie GPT 3.5 mittlerweile fast immer identifizieren – doch je neuer das KI-Modell, desto schwerer wird die Einordnung. KI-Entwickler und KI-Detektore stehen in einem ewigen Wettlauf miteinander – und die Detektoren sind chronisch im Hintertreffen.
Dass die Erkennung von KI-generiertem Text verlorene Liebesmüh sein könnte, zeigte sich bereits vor einem Jahr. Denn im Juli 2023 nahm OpenAI seinen eigenen KI-Detektor, den „AI Classifier“, offline. Als Begründung nannte OpenAI die „niedrige Genauigkeit“ des Tools. Selbst das Unternehmen hinter ChatGPT scheint den Kampf um die Erkennung von KI-Texten aufgegeben zu haben.
