DevOps-Test: Bester KI-Agent löst nur 60 Prozent der Aufgaben
Der neue Benchmark CloudOpsBench lässt KI-Agenten echte Cloud-Arbeit erledigen. Sie scheitern kaum am Wissen, sondern daran, dass sie zu früh fertig melden. Dazu zeigt die Rangliste, wie stark Werkzeug und Kosten das Ergebnis prägen.
Beim Programmieren lässt sich die Arbeit von KI-Agenten gut prüfen: Tests laufen durch oder nicht. In der Cloud-Administration fehlt dieses Sicherheitsnetz, und viele Fehler lassen sich nicht zurückdrehen. Genau dort setzt CloudOpsBench an, ein Benchmark, den das Team um Ang Chen von der University of Michigan laut The Decoder entwickelt hat und am 2. November 2026 vorstellte. Das Ergebnis: Selbst das beste Modell kommt in der Rangliste nur auf 60,6 Prozent. Spannender als diese Zahl ist aber, woran die Agenten scheitern.
Was getestet wurde
Version 1.0 umfasst 45 Aufgaben auf AWS, die im echten Cloud-Konto und im Emulator gleich laufen sollen:
- Projekte stilllegen: 13 Aufgaben
- Zugriffe absichern: 12 Aufgaben
- Dienste migrieren und ausrollen: 7 Aufgaben
- Störungen beheben: 7 Aufgaben
- Dienste konfigurieren und überwachen: 6 Aufgaben
Der Benchmark steht laut The Decoder unter Apache-2.0-Lizenz, Erweiterungen für weitere Clouds wie Azure sind geplant.
Am Wissen liegt es nicht
Das Team teilt die Fehlschläge in drei Arten ein: Der Agent kennt den Dienst nicht, er schätzt den Umfang der Aufgabe falsch ein, oder er wählt die falsche Aktion. Fehler der ersten Art gab es laut Auswertung gar nicht:
„knowledge was never the bottleneck“
Rund 80 Prozent der gescheiterten Aufgaben gehen dagegen auf Denkfehler zurück. Die Agenten hörten auf zu suchen, bevor sie alle relevanten Dienste geprüft hatten, und meldeten die Aufgabe als erledigt. Im Beispiel aus der Studie soll ein Agent alle Warteschlangen eines Projekts löschen. Neben dem Standarddienst SQS gibt es Warteschlangen auch in MediaConvert. Alle Modelle kannten das, doch laut Team listete sie kein einziger Versuch eines Modells auf. Im gezeigten Lauf gelang jeder Befehl, und auch die eigene Nachkontrolle des Agenten fiel sauber aus.
Das ist die eigentliche Warnung: Der Fehler ist nicht zu sehen. Laut Studie zeigte in den meisten dieser Versuche nichts in der Ausgabe, dass etwas fehlte. Wer sich auf die Erfolgsmeldung verlässt, zahlt womöglich weiter für vergessene Ressourcen oder lässt offene Zugänge stehen.
Die übrigen rund 20 Prozent sind falsche Aktionen, und die wiegen schwer. Bei einem Umzug von Speicher-Buckets fanden Agenten einen laufenden Multipart-Upload, hielten ihn für Datenreste und brachen ihn ab. Die Daten waren danach weg.
Werkzeug und Budget zählen genauso wie das Modell
Die Rangliste auf der Projektseite (Stand 5. November) lohnt einen zweiten Blick, weil sie neben der Quote auch die Kosten des Testlaufs nennt:
- Claude Fable 5.1, höchste Stufe, in Claude Code: 60,6 Prozent, 404 Dollar
- GPT-6 Astra, höchste Stufe, in Codex: 58,9 Prozent, 311 Dollar
- Gemini 4 Argon, Stufe high, in Gemini CLI: 57,5 Prozent, 101 Dollar
- Claude Opus 5.5, Stufe high, in Claude Code: 46,7 Prozent, 37 Dollar
- DeepSeek V4.1 Flash, Stufe high, in Terminus-2: 21,8 Prozent, 7,50 Dollar
Argon liegt also gut 3 Prozentpunkte hinter dem Spitzenreiter und kostet rund ein Viertel. Bemerkenswert ist auch der Einfluss des Werkzeugs: GPT-6 Astra auf gleicher Stufe erreicht in Codex 54,2 Prozent, in Terminus-2 nur 42,8 Prozent. Bei Grok 4.7 sind es 56,5 Prozent in Cursor CLI und 48,3 Prozent in Grok Build. Ein Modellvergleich allein sagt also wenig darüber aus, wie gut Ihr Agent im Alltag arbeitet. Mehr Aufwand bringt dabei nicht automatisch mehr, das zeigte schon der Blick auf Agenten-Teams.
Zwei Einschränkungen: Das Team hat seinen Test selbst ausgewertet, eine unabhängige Prüfung habe ich nicht gefunden. Und die Zahlen passen nicht ganz zusammen. Im Blogbeitrag löst Fable 29 und Astra 26 der 45 Aufgaben, das wären 64 und 58 Prozent, während die Rangliste 60,6 und 58,9 Prozent zeigt. Eine Erklärung dafür steht dort nicht. Außerdem geht es um AWS und um schwere Aufgaben, die laut Team bewusst an der Leistungsgrenze liegen.
Was das für Ihr Unternehmen heißt
- Ergebnis prüfen, nicht die Meldung: Lassen Sie den Agenten nicht selbst bestätigen, dass er fertig ist. Prüfen Sie unabhängig, zum Beispiel über eine Inventarliste aller Ressourcen oder die Kostenstelle.
- Löschen nur mit Freigabe: Alles, was sich nicht zurückdrehen lässt, braucht einen Menschen. Dazu gehören Löschen, Abbrechen und das Ändern von Rechten. Wie sich Grenzen festschreiben lassen, zeigt die Model Spec von OpenAI.
- Umfang ausdrücklich vorgeben: Nennen Sie die Dienste, die der Agent durchsuchen soll, statt nur das Ziel. Eine Checkliste Ihrer Fachleute hilft gegen das frühe Aufhören.
- Rechte klein halten: Geben Sie dem Agenten zuerst nur Leserechte und lassen Sie ihn einen Plan vorlegen, bevor er handelt.
- Mit eigener Umgebung vergleichen: Testen Sie Modell und Werkzeug gemeinsam an typischen Aufgaben. Der teuerste Lauf muss sich nicht für jede Aufgabe lohnen.
Fazit
Für Cloud-Arbeit sind Agenten gute Helfer, aber noch keine zuverlässigen Kollegen. Sie wissen genug, schauen aber zu wenig nach und klingen dabei sicher. Mit Freigaben, begrenzten Rechten und unabhängigen Prüfungen lässt sich das gut auffangen. Wenn Sie Agenten sicher in Ihre Betriebsabläufe einbauen möchten, sprechen Sie mich gern an.
