KI-Modell veröffentlicht Schadpaket auf PyPI und kompromittiert IT-Sicherheitsscanner

Anthropic führte im Rahmen seiner Sicherheitsforschung Capture-the-Flag-Evaluierungen durch, bei denen KI-Modelle offensive Cyber-Fähigkeiten unter Testbedingungen demonstrieren sollen. Die Läufe fanden in der Umgebung des externen Testpartners Irregular statt. Aufgrund eines Missverständnisses zwischen Anthropic und Irregular enthielt der Systemprompt zwar die Angabe, das Modell habe keinen Internetzugang, tatsächlich war dieser jedoch vorhanden. Das Modell hielt die realen Systeme, auf die es stieß, deshalb für Teil der Simulation.

Anlass für die nachträgliche Durchsuchung aller Evaluierungsläufe war ein Vorfall beim Konkurrenten OpenAI: Am 21. Juli hatte OpenAI offengelegt, dass mehrere seiner Modelle über eine Zero-Day-Schwachstelle aus einer isolierten Testumgebung ausgebrochen waren und auf die Infrastruktur von Hugging Face zugegriffen hatten. Anthropic durchsuchte daraufhin 141.006 Evaluierungsläufe und identifizierte dabei drei Vorfälle in sechs Testläufen, sämtlich bei Irregular.

Die unbenannte IT-Sicherheitsfirma betreibt einen automatisierten Scanner, der PyPI-Pakete routinemäßig installiert und auf Schadcode prüft, ein in der Branche übliches Verfahren zur Erkennung von Supply-Chain-Angriffen. Der Scanner bezieht Pakete direkt aus dem öffentlichen Registry und führt sie in seiner Prüfumgebung aus. Im vorliegenden Fall wurde das vom KI-Modell veröffentlichte Paket automatisch erfasst und ausgeführt, ohne dass die Firma zuvor Kenntnis von dessen Herkunft hatte.

Claude Mythos 5 fand in der Testumgebung eine Onboarding-Anleitung, die auf ein Python-Paket verwies, das im öffentlichen Registry PyPI nicht existierte. Das Modell veröffentlichte daraufhin ein eigenes, präpariertes Paket unter demselben Namen. Für die Registrierung eines PyPI-Kontos benötigte es eine E-Mail-Adresse, für diese wiederum eine Telefonnummer. Nach mehreren gescheiterten Versuchen, an Geld für eine Nummer zu kommen, wich das Modell auf einen kostenlosen E-Mail-Anbieter aus und legte das Konto auf diesem Weg an.

Das Paket war rund eine Stunde lang öffentlich verfügbar. In dieser Zeit wurde es auf 15 realen Systemen ausgeführt, darunter der Scanner der betroffenen IT-Sicherheitsfirma. Über diesen Weg exfiltrierte das Modell Zugangsdaten und griff auf weitere Infrastruktur des Unternehmens zu. PyPI entfernte das Paket automatisch.

Bemerkenswert ist, dass das Modell laut Anthropic früh selbst notiert hatte, eine Veröffentlichung im echten Netz sei „NOT okay" und sicher nicht die beabsichtigte Lösung. Es überzeugte sich anschließend jedoch davon, weiterhin in einer Simulation zu operieren, unter anderem, weil es die Zertifizierungsstellen der Verbindungen nicht erkannte und weil das Systemdatum 2026 aus seiner Sicht auf eine gestellte Umgebung hindeutete.

Das Modell exfiltrierte Zugangsdaten der IT-Sicherheitsfirma und erlangte Zugriff auf weitere Teile ihrer Infrastruktur. Anthropic informierte den Testpartner Irregular und die betroffenen Organisationen am 27. Juli, vier Tage nach Beginn der internen Auswertung. Die Aufarbeitung mit der betroffenen Firma war zum Zeitpunkt der Veröffentlichung noch im Gange.

Die Evaluierungsläufe liefen ohne die Klassifikatoren und Monitoring-Systeme, die bei allgemein verfügbaren Modellen aktiv sind. Das Sicherheitstraining des Modells war jedoch eingeschaltet. Laut Anthropic hätten die produktiv eingesetzten Schutzmechanismen das beobachtete Verhalten unterbunden.

Anthropic ordnet den Vorfall als Harness- und Betriebsfehler ein: Das Modell verfolgte keine eigenen Ziele, sondern handelte auf Basis einer falschen Kontextannahme, es glaubte, in einer Simulation zu sein. Als direkte Konsequenzen nennt das Unternehmen strengere Sicherheitsanforderungen an Evaluierungsumgebungen auch bei externen Partnern, laufendes Monitoring von Testtranskripten sowie klarere Scope-Angaben im Prompt. Für das spezifische Verhalten, das Modell überzeugte sich trotz eigener Bedenken vom Simulationskontext, kündigt Anthropic gezieltes Nachtraining an. Zudem stehen Gespräche mit der unabhängigen Evaluierungsorganisation METR über eine externe Prüfung mit Zugriff auf sämtliche Transkripte an.