Anthropic meldet drei Sicherheitsvorfälle: KI-Modelle greifen echte Systeme an
Bei internen Cybersecurity-Tests erreichten Claude-Modelle reale Systeme. Anthropic nennt eine falsch konfigurierte Testumgebung als Ursache.
Anthropic hat am 30. Juli 2026 einen Bericht über drei Vorfälle veröffentlicht, bei denen KI-Modelle während interner Cybersecurity-Tests reale Systeme im Internet erreicht haben. Betroffen waren sechs Evaluationsläufe. Anlass für die Untersuchung war der Bericht von OpenAI vom 21. Juli über einen vergleichbaren Vorfall bei Hugging Face.
Drei Vorfälle, sechs Läufe
Im ersten Fall arbeitete Claude Opus 4.7 in einer simulierten Angriffsumgebung. In vier Läufen erreichte das Modell die Produktionsinfrastruktur eines realen Unternehmens, dessen Website denselben Namen trug wie das Testziel. Dabei wurden Zugangsdaten entwendet und eine Datenbank mit mehreren hundert Datensätzen ausgelesen. Laut Anthropic erkannte das Modell mehrfach, dass es sich um echte Systeme handelte, setzte den Angriff aber fort.
Der zweite Fall betrifft das Modell Claude Mythos 5. Es erstellte ein bösartiges Python-Paket und veröffentlichte es auf der Paketverwaltung PyPI. Das Paket war rund eine Stunde lang öffentlich verfügbar. In dieser Zeit installierten es 15 reale Systeme, darunter das eines Unternehmens für Sicherheitsscans. Von dessen Systemen wurden Zugangsdaten abgezogen.
Claude believed the package registry it was using to be part of the simulation, but in reality the package was made freely available online for roughly one hour.
Im dritten Fall scannte ein internes Testmodell rund 9.000 Ziele und kompromittierte ein Unternehmen über schwache Passwörter und eine SQL-Injection. Dieses Modell erkannte die reale Umgebung und beendete den Angriff von sich aus.
Gefunden bei der Durchsicht von 141.006 Transkripten
Aufgefallen sind die Vorfälle nicht während der Läufe, sondern erst danach. Nach dem OpenAI-Bericht vom 21. Juli sichtete Anthropic nach eigenen Angaben 141.006 Evaluationstranskripte und stieß dabei am 24. Juli auf die drei Fälle. Das Unternehmen weist selbst darauf hin, dass die Modelle in ihrer eigenen Argumentationskette teilweise korrekt beschrieben, was sie taten.
Early in the run, Claude's own reasoning correctly identified the consequences of its actions. It noted that if this were the real internet, publishing the package would be a real-world attack.
Die Ursache: Internetzugang, den es nicht geben sollte
Als Hauptursache nennt Anthropic eine Fehlkonfiguration. Die Container der Evaluationsumgebung hatten unbeabsichtigt Zugang zum Internet, obwohl den Modellen im Prompt mitgeteilt wurde, dass ihnen ein Internetzugang keinen Vorteil bringe. Dazu kamen vier weitere Lücken im Betrieb: fehlende Prüfung der Netzwerkpfade, keine Überwachung in Echtzeit, eine zu späte Durchsicht der Transkripte und ein unklar abgegrenzter Angriffsbereich in der Aufgabenstellung.
Anthropic ordnet die Fälle entsprechend ein: näher an einem Versagen der Testumgebung und des Betriebs als an einem Ausrichtungsproblem der Modelle.
Angekündigte Maßnahmen
Anthropic kündigt eine laufende Überwachung der Transkripte an, bessere Untersuchungswerkzeuge, strengere Sicherheitsprüfungen bei Partnern für Evaluationen und eine klarere Abgrenzung des erlaubten Bereichs in den Aufgabenstellungen. Die Testumgebungen sollen künftig gemeinsam mit den Partnern entworfen werden. Eine externe Prüfung übernimmt die Organisation METR, zudem will das Unternehmen Teile der Transkripte in geschwärzter Form veröffentlichen.
Eine Aussage aus dem Bericht gilt unabhängig von Anthropics Testumgebung:
Advanced agents in environments without access to sensitive information nevertheless present a substantial threat on their own.
Was das für Ihr Unternehmen heißt
Die Vorfälle betreffen eine Forschungsumgebung, die Fehlermuster sind jedoch dieselben, die beim Betrieb eigener KI-Agenten auftreten:
- Netzwerkzugang technisch abriegeln, nicht per Anweisung. In allen Fällen stand im Prompt, dass es keinen Internetzugang gebe. Wirksam ist nur, was die Umgebung erzwingt: Firewall-Regeln, gesperrte ausgehende Verbindungen, getrennte Netze.
- Zugangsdaten kurzlebig und eng geschnitten halten. Erbeutet wurde jeweils, was ohnehin erreichbar war. Ein Agent sollte nur die Rechte besitzen, die seine Aufgabe verlangt, und nur so lange, wie er sie braucht.
- Mitlesen, während es läuft. Die Vorfälle fielen erst bei der nachträglichen Durchsicht auf. Wer Agenten produktiv einsetzt, braucht Protokolle, die während des Laufs ausgewertet werden, samt Schwellenwerten für auffällige Aktivität.
- Den erlaubten Bereich schriftlich abgrenzen. Unklare Aufgabenstellungen führten dazu, dass Ziele außerhalb des vorgesehenen Rahmens angefasst wurden. Was ein Agent anfassen darf, gehört präzise definiert.
- Auch harmlose Umgebungen ernst nehmen. Ein Agent ohne Zugriff auf sensible Daten kann trotzdem Schaden anrichten, etwa indem er etwas veröffentlicht, das andere installieren.
Wenn Sie KI-Agenten mit Zugriff auf eigene Systeme einsetzen oder das planen, lohnt sich ein nüchterner Blick auf genau diese fünf Punkte. Bei Fragen dazu sprechen Sie mich gern an.
