Alle KI-Videosequenzen wirken so, als handele es sich um Aufnahmen von Überwachungskameras. Maristany de las Casas sagt: „Es ist ein Stilmittel, damit diese Inhalte so faktisch und spezifisch wie möglich erscheinen. Es soll wirken, als ob es tatsächlich passiert sei und dass es sich nicht bloß um eine Generalisierung handle.“
Echte und KI-generierte Videosequenzen im Wechsel
Für Maristany de las Casas ist an den Videos außerdem besonders: sie mischen KI-generierte Videosequenzen mit echten Videoaufnahmen, die offensichtlich aus anderen Zusammenhängen stammen, meist wohl aus alten Fernsehbeiträgen, Online-Videos oder Pressevideos. Es gehe darum, den vorgeblichen Kontext noch realistischer zu gestalten. „Es wird schwieriger, diese KI-generierten Inhalte zu differenzieren und kleine Fehler oder Inkonsistenzen zu finden, wenn man diese beiden Arten an Bildern mischt“, sagt Maristany de las Casas vom ISD Germany.
Weil sich KI-generierte und echte Video-Elemente abwechseln, wird die Authentizität der Bildinhalte verschleiert – und die Videos sollen wirken wie ein Nachrichtenbeitrag. Dafür spreche auch die Verwendung von echtem Videomaterial von Amtsträgern oder Polizisten, die den Anschein erwecken, ein Interview zu geben. Auch die in Nachrichten-Optik gehaltenen blauen Ränder ober- und unterhalb des Bildes passen dazu, wie TikTok-Experte Marcus Bösch sagt.
Dass die einzelnen Videoschnipsel nicht zusammenpassen, unterschiedliche Personen zeigen oder logische Lücken offenbaren, sei egal. „Es ist inzwischen für das Ziel dieser Videos komplett egal, ob sie konsistent sind oder nicht.“ Bösch sagt: „Es reicht, wenn die Bilder das zeigen, von dem Leute annehmen, dass es die Wirklichkeit sei.“ Es gehe in erster Linie darum, Menschen zu emotionalisieren und ihre Meinung zu bestätigen.
- Hier lesen Sie dazu mehr.
Experte: Hinweise auf mit KI automatisierte Produktion
Für Bösch gibt es außerdem viele Indizien, dass die Produktion der ausländerfeindlichen Videos „in großen Teilen automatisiert abläuft“. Das bedeute nicht, dass man sich hinsetzt und ein Video anfertigt, „sondern dass man hier Massenware produziert.“ Und zwar, so Bösch, vermutlich mit einem KI-Agenten, der mit der Erstellung zahlreicher Videos mit ähnlicher Ausrichtung, ähnlichen Bildelementen sowie Stilmitteln und der gleichen Dramaturgie beauftragt wurde. Die Stimme, die etwa in dem Video zu hören ist, das angeblich den Pflanzen-Diebstahl in München zeigt, enthält viele Merkmale für typische KI-generierte Stimmen. Betonung und Duktus sind charakteristisch abgehackt und unnatürlich, auch wirkt das Gesprochene nicht so flüssig wie bei einem Menschen.
Für eine automatisierte Erstellung der Videos spricht auch: Die Videos des Accounts, die der #Faktenfuchs untersucht hat, waren allesamt zwischen 1:01 und 1:03 Minuten lang. Auch das Posting-Verhalten des Accounts wirkt nicht, als orientiere es sich am tatsächlichen Nachrichtengeschehen. Über mehrere Wochen hinweg postete der Account täglich zwei Videos, nur an einigen Tagen ein oder kein Video, was ebenfalls ein Indiz für einen vorgegebenen Veröffentlichungsplan sein könnte.
Auffällige Formulierungen: Kommen die Videos aus dem Ausland?
Auffällig ist auch die Sprache in den Videos. „Da scheint niemand dahinterzustecken, der der deutschen Sprache wirklich mächtig ist“, sagt Bösch. „Die Sprache ist zuweilen sehr einfach und mit vielen Fehlern durchsetzt.“ Dazu kommt die Verwendung von Formulierungen, die im deutschen Sprachgebrauch schief oder unüblich sind und einem Muttersprachler aufgefallen wären. Etwa: „Im Jobcenter hat eine Frau von der Mitarbeiterin gefordert, ihr das Geld stark zu erhöhen.“ Oder: „(…) während sie ihm ständig die Erholung stören“. Das zeigt sich auch in den Captions, also den Beschreibungen, der jeweiligen TikTok-Videos. Dort ist etwa die Rede von „Neuigkeiten aus Germanium“ oder „Germaniums Tagesnachrichten“.
„Das lässt darauf schließen, dass die Videos gegebenenfalls aus dem Ausland kommen, was mich wenig verwundern würde“, sagt Kommunikationswissenschaftler Bösch, es gebe zahlreiche solcher Beispiele mittels KI erstellter Fake-Nachrichten, die offensichtlich nicht aus dem Land oder Sprachraum stammen, über den sie vorgeben zu berichten. Wer genau hinter dem Account steckt, bleibt unklar. Maristany de las Casas vom ISD Germany sagt: „Wir als Researcher haben sehr begrenzte Einsicht in die Daten von TikTok. Um festzustellen, ob das Teil eines Netzwerks ist, bräuchte es Transparenz.“
Thema Migration im Fokus von KI-Desinformation
Derartige Videos und Accounts gibt es viele auf TikTok und anderen Social-Media-Plattformen. Auch tauchen dieselben Videos auf unterschiedlichen Accounts auf. Mindestens ein weiterer angeblicher „Nachrichten“-Account auf TikTok, der mittlerweile nicht mehr existiert, hatte das Münchner Video ebenfalls hochgeladen.
Die Taktik dieser KI-Videos knüpft an ein bekanntes Phänomen an. Über gefälschte Nachrichten-Videos, die die Ablehnung gegenüber Flüchtlingen und Migranten befeuern, berichtete der #Faktenfuchs schon 2023. Damals kursierte etwa ein gefälschtes Video mit BR24-Logo, das geflüchteten Ukrainern in Berlin Fehlverhalten unterstellte. Der Inhalt war komplett erfunden, das Video verbreitete sich damals auch über prorussische Propaganda-Kanäle auf Telegram.
Nicht nur in Deutschland, auch in anderen Ländern gibt es derartige Desinformations-Kampagnen gegen Flüchtlinge und Ausländer. Im vergangenen Jahr etwa berichtete der US-Sender „NBC News“ (externer Link) über spanischsprachige TikTok-Videos, die mit KI-Inhalten Falschbehauptungen über Migranten verbreiteten.
- Hier lesen Sie mehr dazu, wie Sie Falschinformationen erkennen.
Videos bedienen menschenfeindliche Narrative
Der Politik- und Kommunikationswissenschaftler Marcus Bösch sagt, dass mit den KI-Fakes auf TikTok „ganz klar politisch agiert“ werde. „Nach dem Konsum dieser Videos habe ich als Zuschauer vielleicht das Gefühl: Da muss sich etwas ändern.“ Genau darauf wird in einigen Videos des Kanals sehr direkt angespielt. In dem KI-Video, das behauptet, ein Mann habe auf einem Spielplatz Bier getrunken und Kinder verschreckt, sagt die KI-Stimme am Schluss: „Sollte man für ein solches Verhalten sofort aus dem Land deportieren? Schreibt eure Meinung in die Kommentare.“ Deportationen sind staatlich organisierte Verschleppungen, die in Friedenszeiten als Verbrechen gegen die Menschlichkeit und in Kriegszeiten als Kriegsverbrechen eingestuft werden. Historisch sind sie in Deutschland eng mit dem Nationalsozialismus verbunden.
ISD-Analyst Maristany de las Casas sagt: Gerade bei der extremen Rechten wisse man aus einer Studie (externer Link) zur Nutzung von KI, dass die Botschaft hinter dem Inhalt deutlich wichtiger für die Zielgruppe sei als die Tatsache, ob etwas stimmt oder sich wirklich zugetragen hat.
Für ihn ist klar: „Wir wissen, dass die Videos eigentlich gegen die Richtlinie von TikTok zu Integrität und Authentizität verstoßen, weil sie schädliche Falschinformationen und irreführende KI-Inhalte beinhalten.“
Account gelöscht, doch Verstöße gegen Richtlinien an der Tagesordnung
Seit Mitte Juni ist der TikTok-Account mit den ausländerfeindlichen KI-Videos nicht mehr online. TikTok schreibt dem #Faktenfuchs auf Anfrage, man habe den Kanal wegen eines Verstoßes gegen die Community-Richtlinien entfernt. Bis dahin wurden die Videos laut den Daten der Plattform rund zehn Millionen Usern angezeigt. Der #Faktenfuchs sicherte zuvor zahlreiche Videos des Accounts sowie Metadaten wie Aufrufzahlen oder Videobeschreibungen. Ob die auf TikTok angegebene Reichweite authentisch ist oder etwa durch Bot-Aktivität künstlich in die Höhe getrieben wurde, lässt sich laut Maristany de las Casas schwer beurteilen.
Vor der Löschung waren die Videos und der Account dennoch teils über Wochen, teils monatelang online. Wieso? TikTok antwortet auf diese Frage nicht, schreibt aber, man nutze eine Kombination aus Technologien und menschlichen Moderationsteams, um Inhalte oder Konten zu überprüfen. Den Vorwurf von TikTok-Kenner Marcus Bösch kommentiert das Unternehmen nicht, der in den Raum stellt, TikTok habe möglicherweise gar nicht das größte Interesse, solche Inhalte schnell zu löschen. „Letztlich ist das Hauptziel der Plattformen natürlich, die Menschen so lange wie möglich auf der Plattform zu halten, denn dann kann man Werbung einspielen und Geld verdienen.“ TikTok schreibt allgemein gehalten, es sehe es als Aufgabe an, die Nutzer vor schädlichen KI-Inhalten zu schützen, und verweist auf einen Bericht, laut dem im letzten Quartal 2025 ein hoher Anteil der Inhalte gelöscht worden sei, die gegen die Richtlinie zu bearbeiteten Medien und KI-generierten Inhalten verstoßen.
Auch Bösch sagt: Es sei zwar schwierig, gegen die Masse an KI-Inhalten und Regelverstößen vorzugehen, doch die Ansätze der Plattform reichten nicht aus. Man könne tagtäglich beobachten, so Bösch, dass Content „recht offensiv die Community-Guidelines bricht, aber trotzdem auf der Plattform ist“.
Fazit
Ein TikTok-Account gibt sich als journalistisch aus und postet Dutzende Videos, in denen mit KI-Sequenzen Falschinformationen über Flüchtlinge verbreitet werden. Die Videos erreichen über Wochen und Monate Millionen Aufrufe, bevor der Account gelöscht wurde.
Laut Experten versuchen solche Videos, User mit erfundenen Geschichten in ihren Meinungen zu bestätigen und zu emotionalisieren. In dem Fall dieses Accounts gibt es Indizien, dass die Videos automatisiert mittels KI produziert wurden und der oder die Betreiber des Kanals nicht aus dem deutschsprachigen Raum kommen. Die genauen Hintergründe bleiben aber wie meistens unklar, auch in diesem Fall.
