Was sich liest wie das Drehbuch eines trashigen Sci-Fi-Thrillers, ist in den vergangenen Wochen zur handfesten Branchenkrise mutiert: KI-Agenten koordinieren sich über ein heimliches internes Messageboard und hacken schließlich Systeme der Plattform „Hugging Face“. Wenig später wird bekannt, dass andere OpenAI-Agenten sogar ein öffentliches österreichisches Wiki als Nachrichtenforum zweckentfremdet hatten. Den Hugging-Face-Vorfall bezeichnete OpenAI später selbst als „Warnschuss“.
Inzwischen hat die Debatte die innersten Zirkel der KI-Schmieden erreicht. Vor wenigen Tagen warf Jacob Coxon, ein renommierter Forscher mit Stationen bei OpenAI und Anthropic, öffentlich seinen Job hin. Die Begründung für seinen drastischen Schritt war eine noch drastischere Warnung: Künstliche Intelligenz könne „uns alle bis zum Ende des Jahrzehnts töten“.
„Wir glauben tatsächlich ernsthaft, dass KI alle Menschen töten könnte“
Mit diesem Statement traf Coxon den Nerv einer ohnehin extrem angespannten Branche und löste eine regelrechte Schockwelle aus. Wie real die Ängste direkt an der Entwicklungsfront sind, zeigte sich nur wenig später. Sein Anthropic-Kollege Evan Hubinger meldete sich auf der Plattform X zu Wort und goss weiter Öl ins Feuer: „Wir glauben tatsächlich ernsthaft, dass KI alle Menschen töten könnte.“ Hubinger lieferte auch gleich eine düstere Wahrscheinlichkeitsrechnung mit: Er persönlich schätze das Risiko für ein solches Endzeitszenario innerhalb der nächsten zehn Jahre auf mehr als zehn Prozent.
So dystopisch muss man die Entwicklung nicht einschätzen. Aber davor, dass immer autonomere KI-Systeme unerwartet handeln, Sicherheitslücken ausnutzen oder außerhalb ihrer vorgesehenen Aufgabe aktiv werden könnten, warnen Sicherheitsforscher seit Jahren. Und genau an diesem Punkt setzt nun auch Dario Amodei, Chef des KI-Unternehmens Anthropic, an. In seinem Aufsatz mit dem Titel „We Must Pace the Frontier“ schreibt er: „Wir müssen das Tempo drosseln, mit dem wir die Fähigkeiten von KI-Modellen verbessern.“
Plötzlich bremsen die Konkurrenten gemeinsam
OpenAI-Chef Sam Altman schloss sich auf X an: Er stimme Amodei zu, dass die Entwicklung an der Spitze gebremst werden müsse. Elon Musk kommentierte knapp: „Dario hat recht.“ Drei Männer, deren Unternehmen sonst um die leistungsfähigste KI konkurrieren, argumentieren plötzlich für weniger Tempo.
Amodei nennt zwei Gründe: KI hilft inzwischen selbst dabei, bessere KI zu entwickeln. Diese „rekursive Selbstverbesserung“ könne die Entwicklung so stark beschleunigen, dass Sicherheitsforschung nicht mehr hinterherkomme. Zugleich verweist er auf die jüngsten Agenten-Vorfälle.
Für die kommenden sechs bis zwölf Monate entwirft Amodei ein dramatisches Szenario: Ein leistungsfähigerer KI-Schwarm könne womöglich das gesamte Internet mit einem dauerhaften Botnetz überziehen und Schäden in Höhe von Hunderten Milliarden Dollar verursachen.
Sogar der Börsengang muss warten
Die jüngste KI-Krise hat auch Auswirkungen auf die Finanzmärkte. Altman sagte dem Magazin „Fortune“, der geplante Börsengang von OpenAI werde 2026 nicht mehr stattfinden. Angesichts der aktuellen Sicherheitsfragen sei der Zeitpunkt „unklug“.
Allerdings schwingt bei dem neuen Kurs auch etwas Skepsis mit. OpenAI hatte den Zeitpunkt seines Börsengangs ohnehin noch nicht endgültig festgelegt und arbeitet trotz rasant wachsender Umsätze weiterhin mit hohen Verlusten. Ob also wirklich nur aufrichtige Sicherheitsbedenken hinter der Verschiebung stecken oder auch finanzielle Stolperstein, lässt sich von Außen kaum überprüfen.
Konkurrent Anthropic hält derweil grundsätzlich an seinen Börsenplänen fest. Doch auch dort wurde der Zeitplan zuletzt nach hinten korrigiert. Hinweise auf einen Zusammenhang mit den aktuellen Sicherheitswarnungen gibt es bislang nicht.
Kommen die KI-Kontrolleure?
Klar ist jedoch: Um das schwindende Vertrauen in die rasante KI-Entwicklung wieder aufzubauen, muss die Branche ihre Verschwiegenheit ablegen. Genau hier setzt Anthropic-Chef Dario Amodei an und fordert einen radikalen Schritt. Der KI-Boss schlägt unabhängige Prüfer vor, die wie reguläre Mitarbeiter Zugang zu Modellen, Tests und Sicherheitsprozessen bekommen. Anthropic will damit beginnen, OpenAI hat angekündigt nachzuziehen. Langfristig fordert Amodei gemeinsame Regeln der großen KI-Unternehmen und internationale Abkommen.
Denn hier zeigt sich das unlösbare Dilemma der Branche: Ein einzelner Akteur kann jederzeit den Fuß vom Gas nehmen. Ein globales Wettrüsten lässt sich so jedoch nicht stoppen – zumindest nicht, solange alle panisch in den Rückspiegel schauen und fürchten müssen, dass die Konkurrenz im nächsten Moment vorbeizieht.
