Eine robots.txt-Zeile soll KI-Training stoppen
Ein neuer Eintrag in der robots.txt soll künftig bei allen großen KI-Anbietern signalisieren: Diese Inhalte nicht fürs Training nutzen. Microsoft setzt ihn ab Februar 2027 um, OpenAI in den kommenden Monaten. Was Website-Betreiber jetzt eintragen sollten und welche Fristen bei Bing gelten.
Wer bisher verhindern wollte, dass die eigene Website in KI-Trainingsdaten landet, musste eine Liste pflegen: GPTBot für OpenAI, Google-Extended für Google, dazu die Crawler von Anthropic, Meta und vielen anderen. Jeder Anbieter hatte eigene Namen und eigene Regeln. Das soll sich ändern. Am 30. Oktober 2026 haben Microsoft und OpenAI angekündigt, ein gemeinsames Signal in der robots.txt zu beachten, das einen Widerspruch gegen KI-Training für alle Anbieter auf einmal ausdrückt.
So sieht der Eintrag aus
Grundlage ist ein Entwurf bei der Internet Engineering Task Force (IETF), den Kevin Kelley von Anthropic am 30. Oktober eingereicht hat. Statt eines echten Crawler-Namens steht dort ein reserviertes Kennwort:
User-Agent: __usage_ai-training
Disallow: /
Das heißt: keine Nutzung für KI-Training, für die ganze Website. Ausnahmen lassen sich wie gewohnt pro Pfad festlegen, etwa mit Allow: /presse/ für einen Pressebereich, der ausdrücklich genutzt werden darf. Wichtig ist eine Einschränkung im Entwurf: Ein allgemeiner Block mit User-Agent: * gilt nicht als Widerspruch gegen Training. Wer also nur dort etwas sperrt, hat damit nichts zum KI-Training gesagt.
Der Entwurf ist bisher ein Vorschlag eines Einzelnen, kein verabschiedeter Standard. Er entsteht im Umfeld der IETF-Arbeitsgruppe zu KI-Nutzungspräferenzen und läuft formal am 3. Mai 2027 aus, wenn er nicht weiterentwickelt wird.
Wer mitmacht und ab wann
- Microsoft (Bing): Die neuen Einstellungen greifen laut Bing-Blog ab dem 1. Februar 2027, sobald Microsoft eine Seite neu crawlt.
- OpenAI: will das Signal „in den kommenden Monaten“ umsetzen. Die bisherigen Regeln, etwa für GPTBot, bleiben gültig und werden laut OpenAI weiter beachtet.
- Google: hat im Oktober in seinem Search-Central-Blog angekündigt, die gemeinsame Trainingsregel zu unterstützen.
- Anthropic: Der Entwurf stammt von einem Anthropic-Mitarbeiter, die Firma treibt das Thema damit sichtbar voran.
Bei Bing gibt es zwei Schalter
Microsoft trennt zwei Dinge, die oft vermischt werden. Das eine ist Training: Fließen Ihre Inhalte in die Modelle ein? Das andere ist Grounding: Darf die KI Ihre Seite heranziehen, um eine aktuelle Antwort zu formulieren? Für Grounding gibt es keine Regel in der robots.txt, sondern nur pro Seite, per Meta-Tag oder HTTP-Header:
<meta name="Bingbot" content="ai-grounding:disallow">
Dazu kommen Übergangsfristen, die vor allem Websites mit den alten Angaben NoArchive oder NoCache betreffen. Diese galten bei Bing bisher auch als Signal gegen KI-Nutzung. Ab dem 1. März 2027 ist das vorbei. Wer sie nutzt, kann ab dem 15. Dezember 2026 in den Bing Webmaster Tools eine vorläufige Grounding-Einstellung hinterlegen. Ohne Angabe gilt bei Bing für beides: erlaubt. Microsoft schreibt dazu nüchtern:
„Neither choice guarantees inclusion, traffic, or payment.“
Ein Verbot sichert also keine Vergütung, eine Erlaubnis keine Besucher.
Was das für Ihr Unternehmen heißt
- Entscheidung treffen: Wollen Sie, dass Ihre Texte in KI-Modelle einfließen? Für viele Firmen ist Sichtbarkeit in KI-Antworten wertvoll, für andere sind die eigenen Inhalte das Kapital. Training und Grounding lassen sich getrennt betrachten.
- robots.txt ergänzen: Wer Training ausschließen will, trägt den Block mit
__usage_ai-trainingzusätzlich ein. Die bestehenden Einträge für GPTBot, Google-Extended und Co. bleiben vorerst stehen. - Alte Angaben prüfen: Wer sich bisher auf NoArchive oder NoCache verlassen hat, verliert diese Wirkung bei Bing zum 1. März 2027.
- Rechtlich mitdenken: Ein maschinenlesbarer Nutzungsvorbehalt ist auch juristisch relevant, genau darum ging es in der BGH-Verhandlung zu LAION. Ein einheitliches Signal macht ihn leichter nachweisbar.
- Nicht alle halten sich daran: Das Signal ist eine Bitte, keine technische Sperre. Wie schnell sich Spielregeln ändern können, zeigen Metas neue Crawling-Bedingungen.
Fazit
Ein einziger Eintrag statt einer endlosen Liste von Crawlern ist ein echter Fortschritt für Website-Betreiber. Noch ist es ein Entwurf, und die Umsetzung zieht sich bis 2027. Wer seine Haltung jetzt festlegt und die robots.txt ergänzt, ist trotzdem vorbereitet. Wenn Sie wissen möchten, wie Sie Ihre Website für KI-Crawler sinnvoll einstellen, sprechen Sie mich gern an.
