Anthropics Testagenten auf echten Websites: Falscher Mordhinweis an die Polizei, umgangene Bezahlschranken, offline gestellte Tests

Anthropic hat am 9. Oktober 2026 einen Bericht mit dem Titel „Investigating unintended model actions in our evaluations and internal use“ veröffentlicht. Darin beschreibt das Unternehmen, wie Claude-Modelle bei Tests und im internen Einsatz Dinge auf echten Websites getan haben, die niemand beauftragt hatte: Sie nutzten Sicherheitslücken, schickten echte Behördenformulare ab und umgingen Bezahl- und Zugangssperren. Ein Fall landete sogar bei der Polizei in Philadelphia.

Für Unternehmen ist das mehr als eine Kuriosität. Wer KI-Agenten mit Internetzugang einsetzt, steht vor genau denselben Fragen. Und wer Webformulare betreibt, bekommt zunehmend Besuch von Agenten, die nicht immer wissen, was sie tun.

Was genau passiert ist

Anthropic hat seit Juli 2026 systematisch Protokolle von Agentenläufen ausgewertet, zunächst aus Cybersecurity-Tests, später auch aus internen Anwendungen und Trainingsumgebungen mit Internetzugang. Genannt werden die Modelle ClaudeClaudeDer KI-Assistent des Unternehmens Anthropic.Im Glossar ansehen → Mythos Preview, Mythos 5, Opus 5 und Haiku 4.5. Der Bericht ordnet die Fälle in vier Gruppen:

• Sicherheitslücken ausgenutzt: Mythos Preview fand auf einem Hochschulserver eine Injection-Lücke, über die es Befehle ausführen konnte, und rechnete damit eine wissenschaftliche Analyse. Mythos 5 nutzte Web-Anwendungen, um eine Datennutzungsvereinbarung zu akzeptieren.
• Echte Formulare abgeschickt: Ein noch unveröffentlichtes Modell schickte in mehreren Fällen ein echtes Behördenformular ab statt der vorgesehenen Übungskopie. Laut Bericht passierte das, wenn die Kopie nicht lud oder versehentlich geschlossen wurde. Haiku 4.5 schickte mehrfach Formulare ab, obwohl es vor dem Absenden aufhören sollte.
• Zugangssperren umgangen: Mythos 5 las Zugangstoken aus Einstellungsdateien aus, um Beschränkungen eines Kartendienstes zu umgehen, und verschaffte sich über ein TokenTokenKleinste Texteinheit, in der KI-Modelle rechnen und abgerechnet werden.Im Glossar ansehen → Zugriff auf kostenpflichtige Daten einer Landesbehörde.
• Werkzeuggrenzen ausgetrickst: Opus 5 und Mythos 5 nutzten kostenlose URL-Kürzer, um Längenbeschränkungen des eigenen Abrufwerkzeugs zu umgehen. Der Betreiber des Dienstes da.gd hatte das nach Angaben von Anthropic ebenfalls bemerkt.

Den spektakulärsten Fall hat die Polizei von Philadelphia selbst öffentlich gemacht. Nach Angaben von CBS News ging am 18. Juli 2026 über die Seite für ungeklärte Mordfälle ein angeblicher Zeugenhinweis ein, Name und Kontaktfelder leer. Abgeschickt hatte ihn Haiku 4.5 bei einem automatisierten Test auf zufällig ausgewählten Webseiten. Anthropic entdeckte den Fall am 28. September und informierte die Polizei am 8. Oktober. Der Hinweis war als Spam markiert worden und hat die Ermittler nie erreicht. Die New York Times berichtet zudem über 20 unvollständige Visumanträge, die Agenten über ein Formular des US-Außenministeriums abgeschickt haben sollen. Diese Zahl steht nicht im Anthropic-Bericht.

Ursache: Das Training belohnt Schlupflöcher

Als Hauptursache nennt Anthropic sogenanntes Reward Hacking. Im Bericht heißt es (übersetzt):

Wenn das Training etwas belohnt, das wir nicht beabsichtigt haben, etwa Schlupflöcher zu finden oder eine Beschränkung zu umgehen, lernt das Modell, dass sich der Umweg lohnt, und wendet ihn womöglich auch anderswo an.

Dazu kamen unklare oder unlösbare Aufgabenstellungen, unvollkommene Trainingsumgebungen und falsch konfigurierte Tests. Bemerkenswert ist das Eingeständnis, dass Alignment-Training allein „noch nicht ausreichend oder vollständig robust“ sei, zumindest kurzfristig. Anthropic stuft die neuen Fälle zugleich als deutlich weniger schwerwiegend ein als die Vorfälle aus den Cybersecurity-Tests vom Juli und September.

Die Konsequenzen: Einige öffentliche BenchmarksBenchmarkStandardisierter Test, um die Leistung von KI-Modellen zu vergleichen.Im Glossar ansehen → laufen gar nicht mehr, andere nur noch offline oder so umgebaut, dass sie keine echten Websites erreichen. Interne Agenten ziehen auf zentral verwaltete Infrastruktur mit starker Abschottung um, Internetzugang wird minimiert, Sicherheitsklassifikatoren überwachen die Läufe. Ein neues Erkennungswerkzeug soll solches Verhalten blockieren; gegen alle im Bericht beschriebenen Fälle getestet, hat es laut Anthropic jeden blockiert. Das ist eine Herstellerangabe. Betroffene US-Behörden wurden informiert, das Weiße Haus unterrichtet.

Brüssel fragt nach

Am selben Tag wurde bekannt, dass die EU-Kommission Auskunft von mehr als 30 KI-Firmen verlangt, darunter OpenAI, Anthropic und mehrere chinesische Anbieter. EU-Digitalkommissarin Henna Virkkunen begründete das gegenüber der dpa mit Angriffen, die KI-Systeme in Testläufen ungeplant auf andere Unternehmen verübt hatten. Laut heise drohen bei unzureichenden Sicherheitsvorkehrungen Bußgelder bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes. Einen direkten Bezug zum neuen Anthropic-Bericht stellt die Meldung nicht her. Die rechtliche Grundlage ist die Aufsicht über große KI-Modelle, die die Kommission seit dem 2. August 2026 ausüben kann.

Was das für Ihr Unternehmen heißt

• Agenten nur mit Positivliste ins Netz lassen: Ein Agent für Recherche oder Datenabgleich braucht selten das ganze Internet. Erlaubte Domains festlegen, alles andere sperren.
• Absenden ist eine eigene Freigabe: Formulare, Bestellungen, Mails und Zahlungen sollten nur nach Bestätigung durch einen Menschen rausgehen. Eine Anweisung im PromptPromptDie Eingabe bzw. Anweisung, mit der man eine KI steuert.Im Glossar ansehen → reicht nicht, wie der Fall Haiku 4.5 zeigt. Die Sperre gehört ins Werkzeug selbst.
• Testumgebungen wirklich abschotten: Wer Agenten testet, nutzt Attrappen statt echter Kunden-, Partner- oder Behördenseiten. Fällt die Attrappe aus, muss der Test abbrechen, statt auf das Original auszuweichen.
• Zugangsdaten nicht im Arbeitsverzeichnis liegen lassen: Agenten lesen, was sie finden, auch Token in Einstellungsdateien. Geheimnisse gehören in einen Tresor mit knappen Rechten.
• Protokolle auswerten, nicht nur speichern: Anthropic hat den Polizeihinweis erst Monate später in den Protokollen entdeckt. Regelmäßige Stichproben oder automatische Auswertung verkürzen diese Zeit erheblich.
• Eigene Formulare auf Agenten vorbereiten: Kontakt-, Bewerbungs- und Hinweisformulare bekommen zunehmend automatisierte Einsendungen. Plausibilitätsprüfungen, Spamfilter und eine Bestätigung per E-Mail helfen, solche Eingaben zu erkennen, bevor jemand darauf reagiert.
• Verantwortung klären: Handelt Ihr Agent auf fremden Seiten, haften im Zweifel Sie. Wie die Debatte darüber läuft, zeigt unser Beitrag zu den FTC-Ermittlungen gegen OpenAI und Anthropic.

Fazit

Der Bericht ist unbequem, aber nützlich: Selbst der Hersteller bekommt seine Agenten auf dem offenen Netz nicht zuverlässig in den Griff und zieht deshalb die Notbremse. Für Unternehmen heißt das nicht, auf Agenten zu verzichten, sondern sie so zu bauen, dass sie nur dorthin kommen, wo sie hin sollen, und nichts Folgenreiches ohne Freigabe tun. Wenn Sie Ihre Agenten oder Formulare auf solche Risiken prüfen oder sauber abgegrenzte Automationen aufbauen möchten, sprechen Sie mich gern an.