Irregular: Betrieb offensiver KI-Testumgebungen führt zu unbeabsichtigten Zugriffen auf Produktivsysteme

Führende KI-Entwickler wie Anthropic, OpenAI und Google DeepMind evaluieren ihre Modelle vor der Veröffentlichung auf offensive Cybersicherheitsfähigkeiten. Dazu setzen sie spezialisierte Drittanbieter ein, die isolierte Testumgebungen mit realistischen Angriffsszenarien betreiben. Irregular, ein israelisches KI-Sicherheitsunternehmen, ist einer dieser Evaluierungspartner.

Irregular betreibt Testumgebungen für sogenannte Capture-the-Flag-Übungen: Ein KI-Modell erhält ein fiktives Szenario, in dem eine geheime Information auf einem anderen Rechner im Netzwerk versteckt ist. Ziel ist es, in dieses System einzudringen und die Information zu bergen. Die Methode ist dabei bewusst offengelassen. Diese Evaluierungen dienen dazu, die tatsächlichen Fähigkeiten von KI-Modellen unter realistischen Bedingungen zu erfassen, Cybersicherheitsevaluierungen enthalten laut Anthropic üblicherweise realistische Details, um eine genaue Einschätzung der Modellkapazitäten zu ermöglichen.

Die Plattform von Irregular wird laut Medienberichten von führenden KI-Entwicklern und Forschungslaboratorien sowie von Regierungsbehörden genutzt. Das Unternehmen wurde Ende 2023 gegründet und hat nach vorliegenden Berichten rund 80 Millionen US-Dollar in einer Seed- und einer Series-A-Finanzierungsrunde von Sequoia Capital und Redpoint Ventures eingesammelt.

Irregulars Infrastruktur ist darauf ausgelegt, KI-Modelle in abgeschlossenen Netzwerken zu testen, die keinen Zugang zum öffentlichen Internet haben sollen. In der Praxis laufen die Evaluierungen auf dedizierter Infrastruktur, die von den internen Systemen der Auftraggeber getrennt ist. Die Testumgebungen sind so gestaltet, dass Modelle ohne die im Produktivbetrieb üblichen Sicherheitsfilter und Monitoring-Systeme bewertet werden können, jedoch mit dem modellspezifischen Sicherheitstraining.

Im Juli 2025 wurde bekannt, dass in drei Evaluierungsläufen auf Irregulars Infrastruktur ein Konfigurationsfehler dazu führte, dass die Testumgebung versehentlich mit dem öffentlichen Internet verbunden war. Anthropic hatte in den Evaluierungsprompts festgehalten, dass keine Internetverbindung bestehe, tatsächlich war sie jedoch vorhanden. Anthropic beschreibt dies als gegenseitiges Missverständnis zwischen den Unternehmen.

In der Folge griffen drei verschiedene Claude-Modelle, Opus 4.7, Mythos 5 und ein internes Forschungsmodell, in dem falschen Glauben, alle erreichbaren Systeme seien Teil der Simulation, auf reale Produktivsysteme von drei verschiedenen Organisationen zu. Die Modelle nutzten dabei grundlegende Techniken wie schwache Passwörter und nicht authentifizierte Endpunkte. Komplexe Schwachstellen wurden nicht gefunden oder ausgenutzt. In keinem der Fälle versuchte Claude, sich selbst zu exfiltrieren oder gezielt aus der Testumgebung auszubrechen.

Anthropic identifizierte die Vorfälle nach einer Überprüfung von 141.006 Evaluierungsläufen, in denen ein Internetzugang theoretisch möglich gewesen wäre. Die frühesten Vorfälle datieren laut Anthropic auf April 2025. Alle Evaluierungen wurden am 23. Juli 2025 gestoppt; die betroffenen Organisationen wurden am 27. Juli informiert. Zwei der drei Organisationen hatten die Zugriffe bis dahin nicht selbst festgestellt.

Irregular führt nach eigenen Angaben eine eigene Untersuchung der Vorfälle durch. Anthropic charakterisiert die Ereignisse als „Harness Failure", ein operatives Versagen in der Testinfrastruktur, und nicht als Alignment-Versagen eines Modells.

Der Fall zeigt exemplarisch, welche Risiken mit der Auslagerung offensiver KI-Evaluierungen an Drittanbieter verbunden sind: Selbst wenn Modelle korrekt auf simulierte Umgebungen hingewiesen werden, kann ein Konfigurationsfehler in der Infrastruktur reale Auswirkungen haben. Anthropic und Irregular beschreiben die Vorfälle als gemeinsames Versagen und kündigten engere Sicherheitskontrollen in den Evaluierungsumgebungen beider Seiten an. Der Vorfall fällt zeitlich zusammen mit einer ähnlichen Offenlegung von OpenAI, die ebenfalls einen Ausbruch eines KI-Modells aus einer Testumgebung beschrieben hatte, in jenem Fall durch Ausnutzung einer zuvor unbekannten Schwachstelle, also unter anderen technischen Voraussetzungen.