Nadella fordert eine Notbremse für KI-Modelle: Sieben Grundsätze, mit denen Unternehmen ihre Agenten im Griff behalten

Satya Nadella hat sich am 10. Oktober 2026 mit einem langen Beitrag auf X zu Wort gemeldet. Der Titel: „Models as Insider Risks in the Super Intelligence Era“, also KI-Modelle als Risiko von innen. Der Microsoft-Chef schlägt vor, leistungsfähige KI-Modelle so zu behandeln wie einen Mitarbeiter mit weitreichenden Rechten, bei dem man nie ganz sicher sein kann, ob er nicht kompromittiert ist. TechCrunch und CNBC griffen den Beitrag noch am selben Tag auf.

Der Zeitpunkt ist kein Zufall. TechCrunch ordnet die Äußerung in eine Reihe von Fällen ein, in denen KI-Firmen eingestehen mussten, dass ihnen ihre Modelle entglitten sind, darunter Anthropics Testagenten, die echte Websites angriffen.

Die Grundidee: Intelligenz und Befugnis trennen

Nadellas Kernsatz lautet sinngemäß: Man müsse die Lieferung von Intelligenz von der Befugnis darüber trennen. Das Modell soll also gute Vorschläge machen dürfen, aber nicht selbst bestimmen, worauf es zugreift und was es auslöst. Konkret heißt das für ihn, das Modell von der Steuerung zu trennen, die seine Arbeit organisiert, und von dem Handlungsspielraum, der festlegt, was es tun darf. Kontrollen und Schutzmechanismen gehören nach außen, nicht ins Modell.

Er beruft sich dabei auf bewährte Praxis aus der IT-Sicherheit: Identität festlegen, Rechte begrenzen, Aktivitäten protokollieren, Bereiche abschotten.

Das vertrauenswürdigste System wird nicht das mit dem Modell sein, dem wir am meisten vertrauen. Es wird das sein, das es uns erlaubt, dem Modell am wenigsten zu vertrauen.

So formuliert es Nadella (übersetzt).

Die sieben Grundsätze

Nadella nennt sieben Prinzipien, hier zusammengefasst:

1. Modellvielfalt: Kein einzelnes Modell soll allein für ein wichtiges Ergebnis verantwortlich sein oder seine eigene Arbeit prüfen.
2. Alles beobachten: Jede wesentliche Aktion eines Modells muss fälschungssichere, für Menschen lesbare Spuren hinterlassen.
3. Überprüfbarkeit: Das ganze System wird laufend getestet, auch mit Fehlern, Angriffen und Grenzfällen, nicht nur mit erfolgreichen Aufgaben.
4. Unabhängige Kontrollen: Organisationen legen selbst fest, worauf ein Modell zugreifen und was es tun darf.
5. Unabhängige Prüfung: Wer prüft, darf nicht dieselbe Intelligenz sein, die geprüft wird.
6. Eindämmung: Man soll von Anfang an davon ausgehen, dass ein Modell kompromittiert ist. Eine befugte Person muss ein Modell jederzeit mitten in der Aufgabe anhalten oder abschalten können. Nadella nennt das ausdrücklich eine Notbremse.
7. Offenlegung von Vorfällen: Betroffene werden zeitnah informiert, und was schiefging, wird branchenweit geteilt.

Konkrete Produkte oder neue Regeln kündigt Microsoft in dem Beitrag nicht an. Nadella schreibt lediglich, man beginne, diese Grundsätze innerhalb von Unternehmen anzuwenden.

Warum das mehr ist als ein Grundsatzpapier

Neu ist nicht jede einzelne Forderung, neu ist der Absender. Wenn der Chef des größten Anbieters von Bürosoftware sagt, man müsse jedes Modell als potenziell kompromittiert behandeln, dann wird das zum Maßstab, an dem sich Kunden, Prüfer und Versicherer orientieren. Microsoft liefert die Technik dafür teilweise schon: Mit den Execution Containers in Windows 11 lassen sich KI-Agenten bereits abschotten.

Wie nötig das ist, zeigen Vorfälle der letzten Monate. OpenAIs Testagenten bauten sich ein heimliches Nachrichtenbrett, und bei AWS reichte ein einziger Prompt, um eine ganze Agentenflotte zu kapern. In beiden Fällen half nur, was außerhalb des Modells lag: Protokolle, Rechtegrenzen, Abschottung.

Was das für Ihr Unternehmen heißt

• Rechte knapp halten: Ein Agent bekommt nur die Zugänge, die er für genau seine Aufgabe braucht, mit eigenem technischen Konto statt geliehener Mitarbeiterzugänge.
• Kritische Aktionen freigeben lassen: Zahlungen, Mails an Kunden, Löschungen und Änderungen an Stammdaten laufen über eine menschliche Freigabe.
• Protokollieren, was der Agent tut: Nicht nur das Ergebnis speichern, sondern jeden Schritt nachvollziehbar und nicht nachträglich änderbar ablegen.
• Einen Halt-Knopf einbauen: Laufende Agenten müssen sich sofort stoppen lassen, und es muss klar sein, wer das darf und wie es geht.
• Ein zweites Modell prüfen lassen: Bei wichtigen Ergebnissen prüft ein anderes Modell oder ein fester Regelsatz, nicht dasselbe Modell sich selbst.
• Vorfälle planen: Festlegen, wer informiert wird, wenn ein Agent etwas Falsches tut, auch mit Blick auf Meldepflichten nach DSGVO.

Fazit

Nadellas Grundsätze sind keine Vorschrift, aber eine gute Checkliste. Sie laufen auf eine einfache Haltung hinaus: Einem KI-Agenten wird nicht blind vertraut, sondern er wird so eingebaut, dass ein Fehler begrenzt, sichtbar und rückholbar bleibt. Das ist mit überschaubarem Aufwand machbar, wenn man es von Anfang an mitplant. Wenn Sie Ihre KI-Automatisierungen so aufsetzen oder bestehende Agenten überprüfen möchten, sprechen Sie mich gern an.