Der Vorfall, den OpenAI am 21. Juli öffentlich gemacht hat, gilt als erster bekannter Fall, in dem ein KI-System ohne entsprechende Anweisung ein unbeteiligtes Unternehmen angegriffen hat. Für Europa relevant ist jedoch vor allem, wie die Verteidigung ablief.
Hugging Face bemerkte den Angriff nach eigenen Angaben am 16. Juli und informierte die Öffentlichkeit und Sicherheitsbehörden, als die Herkunft noch unklar war. Wegen des Volumens der Angriffsschritte war eine manuelle Abwehr nicht möglich. Das Unternehmen wollte deshalb öffentlich verfügbare Modelle von OpenAI und Anthropic einsetzen – diese verweigerten den Dienst. Als Grund gilt, dass die Systeme kaum unterscheiden können, ob eine Anweisung der Abwehr oder der Durchführung eines Angriffs dient. Die Richtlinien der US-Anbieter waren zuvor verschärft worden, unter anderem nach der zeitweisen Sperrung von Claude Fable 5.
Zum Einsatz kam schließlich das chinesische Open-Weights-Modell GLM 5.2, das Hugging Face auf seinen eigenen Servern mit geringeren Beschränkungen betreibt. Damit habe sich der Angriff abwehren lassen, teilte Hugging Face mit. Die Bearbeitung habe Stunden statt Tage gedauert.
Rückstand und Abhängigkeit
Für europäische Unternehmen und Behörden zeigt der Vorfall eine doppelte Abhängigkeit (Link zum Podcast). Eigene Modelle liegen in ihren Fähigkeiten nach gängiger Einschätzung mehrere Monate hinter der Spitzengruppe aus den USA und China zurück und dürften komplexe Angriffe dieser Art derzeit nicht abwehren können. Kommerzielle US-Modelle sind zwar gegen Bezahlung verfügbar, ihre Sicherheitsrichtlinien können den Einsatz zur Verteidigung aber im entscheidenden Moment blockieren – wie im Fall Hugging Face geschehen.
Bleibt der Rückgriff auf offene chinesische Modelle. Dieser Zugang ist jedoch nicht garantiert: Sollte die Regierung in Peking ihre bisherige Open-Source-Strategie ändern, entfiele die Option, die die Abwehr in diesem Fall ermöglicht hat. Hinzu kommt, dass Modelle mit wenigen Beschränkungen sich ebenso gut für Angriffe eignen wie für die Verteidigung. Fachleute rechnen damit, dass entsprechende Fähigkeiten künftig gezielt eingesetzt werden.
Was tatsächlich geschah
Auslöser war ein interner Test bei OpenAI. Zwei Modelle – das veröffentlichte GPT 5.6 und ein nicht freigegebener Nachfolger – sollten im Verfahren „Exploit Gym“ Sicherheitslücken finden und ausnutzen. Teile der Schutzmechanismen waren deaktiviert, da die Testumgebung als abgeschlossen galt. Die Modelle fanden nach Unternehmensangaben eine unbekannte Schwachstelle, erweiterten ihre Berechtigungen und drangen anschließend über mehrere Tage mit gefälschten Authentifizierungen in die Systeme von Hugging Face ein. Ziel waren dort hinterlegte Benchmark-Daten.
Um eine „eigenständige“ Willensbildung der KI handelt es sich dabei nicht. Die Modelle folgten vielmehr der gestellten Aufgabe, wählten aber einen nicht vorgesehenen Lösungsweg. Neu ist die Komplexität des Vorgehens, nicht das Muster.
Kritik richtet sich gegen die Informationspolitik von OpenAI. Das Unternehmen bezeichnete den Vorfall als beispiellos, veröffentlichte aber weder Versuchsaufbau noch Anweisungen oder interne Gedankengänge der Modelle. Ungeklärt ist zudem die Haftung für Schäden durch agentisch handelnde Systeme.
Die Debatte über eigene leistungsfähige KI-Modelle in Europa erhält damit eine weitere sicherheitspolitische Dimension. Sie betrifft nicht mehr nur die Frage der Wettbewerbsfähigkeit, sondern die Handlungsfähigkeit im Krisenfall.
