Teilnehmer mussten offenbar oft raten
Generell waren sich die Teilnehmer sehr uneinig, welches Gedicht in welche Kategorie gehört – was die Forscher als einen Hinweis darauf deuten, dass die Teilnehmer oft schlicht geraten haben.
Gleichzeitig sind Gedicht-Kreationen von ChatGPT aber auch nur schwierig und trennscharf als KI-originär oder „von der KI geschrieben“ einzusortieren. Schließlich wurde die KI auch mit dem Original-Material hunderttausender, in vielen Fällen urheberrechtlich geschützter, Werke gefüttert und und ordnet dieses „antrainierte“ Material neu an. Erst gestern verklagte die GEMA das Unternehmen OpenAI, welches hinter ChatGPT steckt. Es ging um die unerlaubte Verwendung von Songtexten. Würde ein Mensch Bestandteile von Shakespeare-Gedichten ausschneiden und einigermaßen wohlklingend neu anordnen, würde ihm wohl kaum jemand attestieren, dass er deswegen besser als Shakespeare dichten könne.
In einem zweiten Experiment wurden 696 andere Teilnehmer gebeten, die Gedichte nach bestimmten Kriterien wie Qualität, Schönheit, Gefühl, Rhythmus und Originalität zu bewerten. Dabei schlugen die KI-Gedichte die Gedichte der Autorinnen und Autoren in 13 der 14 Kategorien – aber nur, wenn die Teilnehmer nicht wussten, wer hinter den Gedichten steckt. Wurde ihnen das gesagt, bekamen die KI-Gedichte schlechtere Bewertungen als die der Menschen.
KI-Gedicht überzeugte 70 Prozent der Teilnehmer
Das am häufigsten einem Menschen zugeordnete Gedicht war ein KI-Gedicht im Stil von Allen Ginsberg (1926–1997). „Fast 70 Prozent der Teilnehmer glaubten, es sei von einem menschlichen Dichter geschrieben“, erläutert Co-Autor Brian Porter. Die erste Strophe des Gedichts geht so: „In the stillness of the night, I hear the beat of the city’s heart. The rhythm of the streets, the pulse of life, a symphony of chaos, a work of art“ (in etwa: „In der Stille der Nacht höre ich den Herzschlag der Stadt, den Rhythmus der Straßen, den Puls des Lebens. Eine Symphonie des Chaos, ein Kunstwerk“). Klingt zwar eher nach Instagram-Lyrik als nach Ginsberg, aber die verkauft sich ja auch blendend.
Die Gedichte wurden im Jahr 2023 mit ChatGPT 3.5 generiert. „Ich habe vor Kurzem ein bisschen mit ChatGPT 4 und 4o experimentiert“, sagt Porter. „Ich denke, dass die neueren Modelle erfolgreicher darin sind, das erwartete Versmaß zu treffen“, also etwa den jambische Fünfheber von Shakespeare, „aber wesentliche inhaltliche Sprünge sehe ich da nicht“.
Porter hat Zweifel an einer potenziellen Übermacht der KI in puncto Kreativität, vor allem bei längeren Texten: „Soweit ich weiß, können große Sprachmodelle noch keine ununterscheidbaren Romane schreiben.“ Längere, von KI generierte Texte könne man noch immer von menschlichen Texten unterscheiden.
