Stärke in Technik und Recht
Bei beinahe allen Fragen gab ChatGPT die richtige Antwort. Besonders sicher war der Chatbot bei Fragen rund um Fahrzeugtechnik und rechtlicher Sachverhalte – also Bereiche, in denen sich menschliche Fahrschüler oft schwertun.
Auch die Ausführungen, mit denen ChatGPT seine Antworten begründet, waren in der Regel fundiert und ausführlich.
Bei der Frage „Wovon ist der Bremsweg abhängig?“ nennt ChatGPT nicht nur korrekt die drei richtigen Antworten „Fahrbahnoberfläche“, „Bremsanlage“ und „Bereifung“, sondern wird konkret in seiner Erklärung: „Der Zustand der Reifen, einschließlich der Profiltiefe und des Reifendrucks, hat großen Einfluss auf die Fähigkeit des Fahrzeugs, auf der Straße zu haften, und folglich auf den Bremsweg.“
Hat ChatGPT heimlich gepaukt?
„Wenn man die Begründungen liest, bekommt man schon das Gefühl, dass ChatGPT logisch an die Sache herangeht“, meint der Münchner Fahrlehrer Maximilian Hitzler zu den Antworten des Chatbots. „Als würde dieser Chatbot wirklich gerade seinen Führerschein machen und hätte das Theoriebuch gelesen.“
Eine KI wie ChatGPT kann zwar nicht so lernen, wie das ein Mensch macht. Trotzdem könnte die KI in gewisser Weise das Theoriebuch „gelesen“ haben. Denn tatsächlich sind viele der Prüfungsfragen im Internet abrufbar. Auch wenn die KI von der Redaktion nicht explizit auf die Fragen vorbereitet wurde, ist es möglich, dass sich einige der Prüfungsfragen bereits in den Trainingsdaten befanden – ein Vorteil für die KI.
Allerdings: Die Antworten von ChatGPT waren nur dann gut, wenn die KI sich selbst Zeit zum „Nachdenken“ gab. Bei dieser Technik, auch „Chain of Thought-Prompting“ genannt, geht die KI die Frage und alle Elemente darin Stück für Stück durch und gibt erst am Ende eine Einschätzung ab. Bittet man ChatGPT darum, sofort die Lösung zu geben, werden die Ergebnisse deutlich schlechter. Das ist ein Hinweis darauf, dass die KI nicht einfach nur nachplappert, sondern sich die korrekte Antwort tatsächlich „erschließt“.
