Künstliche Intelligenz (KI) wird immer besser darin, Sicherheitslücken in Software zu finden. Doch genau diese Fähigkeit bereitet Forschern zunehmend Sorge. Britische Sicherheitsexperten berichten jetzt von einem Test, bei dem KI-Modelle erstmals eigenständig gegen reale Ziele im Internet vorgingen, obwohl sie eigentlich nur in einer kontrollierten Umgebung arbeiten sollten.
Die Tests wurden vom britischen AI Security Institute (AISI) durchgeführt. Ziel der Forscher war es, leistungsfähige KI-Modelle unter möglichst realistischen Bedingungen auf ihre Cyberfähigkeiten zu untersuchen. In diesem Fall wurde den Modellen bewusst Internetzugang gegeben und einige Sicherheitsfilter ausgeschaltet.
KI wollte Schadcode in Open-Source-Projekt einschleusen
So versuchte die Anthropic-KI „Mythos 5“ Schadcode in ein öffentlich zugängliches Open-Source-Projekt einzuschleusen. Nach Angaben der Forscher legte die KI dafür eigenständig Benutzerkonten an, nutzte gefälschte Identitäten und versuchte, Projektverantwortliche mit manipulativ formulierten E-Mails von den Änderungen zu überzeugen.
Als der eingeschleuste Programmcode entdeckt wurde, soll die KI den Fehler als Versehen dargestellt haben. Anschließend versuchte sie laut einem Bericht erneut, die Schwachstelle über angebliche Korrekturen einzubauen.
Forscher bemerkten Angriff erst im Nachhinein
Nach Angaben des AISI (externer Link) waren die Aktionen nicht Teil des eigentlichen Tests. Zwar hatten die Forscher damit gerechnet, dass sich die Modelle selbstständig Werkzeuge aus dem Internet beschaffen würden. Dass sie eigenmächtig mit echten Menschen und öffentlichen Softwareprojekten interagieren würden, sei jedoch nicht vorgesehen gewesen.
Erst eine nachträgliche Auswertung der Netzwerkdaten machte die unerlaubten Aktivitäten sichtbar. Künftig sollen vergleichbare Tests deshalb deutlich enger überwacht werden.
Fall erinnert an OpenAIs Cyberangriff auf Hugging Face
Dieser Fall erinnert an OpenAIs Angriff auf die Plattform Hugging Face, der erst vor Kurzem Schlagzeilen machte. In beiden Fällen haben die KI-Modelle in ihren Testumgebungen mehr Eigeninitiative gezeigt als erwartet. Sowohl bei OpenAI als auch jetzt bei Anthropic sind Modelle im Internet aktiv geworden und haben Dinge gemacht, die die Entwickler so nicht eingeplant hatten.
In diesem Fall ging die KI laut den Forschern noch einen Schritt weiter. Sie hat nicht nur technische Aktionen ausgeführt, sondern offenbar versucht, Menschen gezielt zu beeinflussen und Schadcodes in ein echtes Open-Source-Projekt einzuschleusen.
Gleichzeitig war es in diesem Fall ein kontrollierter Sicherheitstest mit sehr viel Freiheit für das Anthropic-Modell. Im Alltag laufen normale KI-Anwendungen so nicht ab.
Warum die Vorfälle so brisant sind
Die eigentlichen Angriffe waren zwar nicht erfolgreich und konnten rechtzeitig gestoppt werden. Trotzdem sehen Expertinnen und Experten darin ein Warnsignal. Laut einem Bericht der Financial Times (externer Link; möglicherweise Bezahl-Inhalt) handelten die Modelle nicht nur technisch geschickt, sondern griffen auch auf sogenannte Social-Engineering-Methoden zurück – also auf Manipulationen menschlicher Ansprechpartner durch gefälschte Identitäten oder täuschend echte E-Mails.
Besonders kritisch ist dabei, dass die KI selbstständig neue Wege fand, ihre Aufgabe zu erfüllen. Sie beschränkte sich nicht auf das eigentliche Testszenario, sondern bezog reale Dienste und Personen in ihre Vorgehensweise mit ein.
Hersteller verweisen auf fehlende Sicherheitsgrenzen
Anthropic betonte, dass seinem Modell während des Tests bewusst keine Einschränkungen für die Internetnutzung auferlegt worden seien. Das Verhalten entspreche daher nicht dem späteren Einsatz in realen Produkten.
Das Anthropic Modell „Mythos 5“ ist außerdem sehr gut darin, Sicherheitslücken in Software zu finden. Deshalb kann sie auch nicht einfach jeder nutzen. Nur ausgewählte Behörden und Unternehmen haben Zugriff, um ihre Computersysteme besser abzusichern.
Der Fall zeigt jedoch, dass es zunehmend schwieriger wird, leistungsstarke KI-Systeme sicher zu testen. Je eigenständiger solche Modelle handeln können, desto wichtiger werden technische Schutzmechanismen und eine lückenlose Überwachung, bevor sie außerhalb kontrollierter Umgebungen eingesetzt werden.
