KI-Training per robots.txt: OpenAI akzeptiert Opt-out

Wer eine eigene Website, einen Blog oder einen Shop betreibt, musste bisher für jeden KI-Crawler eigene Regeln pflegen. Ein gemeinsames Signal soll das ändern: ein Eintrag in der robots.txt, den mehrere Anbieter lesen. OpenAI hat jetzt angekündigt, dieses Signal zu beachten. Hier steht, was genau beschlossen ist, was noch fehlt und was du heute an deiner Website änderst. Stand: Oktober 2026.

Was ist passiert?

Am 30. Oktober 2026 hat OpenAI angekündigt, ein gemeinsames robots.txt-Signal für Präferenzen zum KI-Training zu beachten. Darüber berichtet Unite.AI mit Verweis auf die Ankündigung von OpenAI. Laut dem Bericht gilt dreierlei:

• Die Umsetzung ist freiwillig.
• OpenAI will das Signal „in den kommenden Monaten“ umsetzen und dann Details zur Implementierung veröffentlichen.
• Die bestehenden robots.txt-Kontrollen von OpenAI bleiben unverändert.

Das Signal stammt aus dem Internet-Draft „Machine-Readable Training Preference Signal“ (draft-kelley-aipref-training-preference-signal-00). Verfasst hat ihn Kevin Kelley von Anthropic, datiert ist er auf den 30. Oktober 2026, ablaufen wird er am 3. Mai 2027. Ein Standard ist das noch nicht: Es ist ein Draft einer Einzelperson, den die IETF nicht gebilligt hat und der keinen formalen Status im Standardisierungsprozess hat. In der Danksagung stehen die Vorsitzenden und Editoren der IETF-Arbeitsgruppe AI Preferences.

Das Vokabular dahinter beschreibt ein zweiter Entwurf: draft-ietf-aipref-vocab-08 vom 14. September 2026, angestrebter Status Proposed Standard. Der Entwurf sagt selbst, dass er noch keinen Konsens der Arbeitsgruppe wiedergibt.

Wie sieht der robots.txt-Eintrag für KI-Training aus?

Laut IETF-Draft ist das Signal ein sogenannter Policy-Token im Feld User-Agent. Neue Befehle gibt es nicht. Du nutzt die bekannten Zeilen Disallow und Allow aus dem robots.txt-Standard RFC 9309. Das Beispiel aus dem Draft:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Damit sagst du: Kein KI-Training mit meinen Inhalten, außer mit allem unter /press-kit/. Fünf Regeln aus dem Draft solltest du kennen:

• Groß- und Kleinschreibung spielt beim Token keine Rolle, ansonsten muss er exakt stimmen.
• User-Agent: * zählt nicht. Wer schon alles für alle Crawler sperrt, hat damit keine Präferenz zum Training ausgedrückt.
• Ohne eigene Gruppe gibt es keine Präferenz. Fehlt __usage_ai-training, sagt deine robots.txt zum Training nichts.
• Der Token steuert kein Crawling. Er sagt, wofür Inhalte genutzt werden dürfen, nicht, ob ein Crawler sie abrufen darf. Wer das Abrufen begrenzen will, braucht weiter Gruppen für die einzelnen Crawler.
• Verträge haben Vorrang. Bindende Vereinbarungen zwischen dir und einem Anbieter dürfen die Präferenz überschreiben.

Was „KI-Training“ meint, definiert der Vokabular-Entwurf: ein Asset nutzen, um die gelernten Parameter eines generativen KI-Modells zu verändern. Modelle, die nur nicht-generative Aufgaben erfüllen, fallen nicht darunter.

Was ändert sich gegenüber GPTBot und Co.?

Bisher steuerst du OpenAI über die einzelnen Crawler. Die Crawler-Dokumentation von OpenAI nennt diese (Stand: Oktober 2026):

Eintrag	Wofür	Was ein Disallow bewirkt
GPTBot	Crawlen für das Training von Foundation-Modellen	Inhalte sollen nicht fürs Training genutzt werden
OAI-SearchBot	Suche in ChatGPT	Seiten erscheinen nicht in Suchantworten, eventuell aber als reiner Link; wirkt nach etwa 24 Stunden
ChatGPT-User	Abrufe, die Nutzer in ChatGPT auslösen	robots.txt gilt hier möglicherweise nicht
__usage_ai-training	Gemeinsames Signal für mehrere Anbieter	Präferenz gegen KI-Training; bei OpenAI erst nach der angekündigten Umsetzung

Wichtig für dich: Laut OpenAI sind die Einstellungen unabhängig voneinander. Du kannst GPTBot sperren und OAI-SearchBot erlauben. Das Training ist dann gesperrt, in der ChatGPT-Suche bleibst du sichtbar.

Was es für dich bedeutet

Für Selbstständige und kleine Teams ist die Nachricht gut, aber noch kein Grund, die alten Einträge zu löschen. Ich würde es so machen:

1. Den GPTBot-Eintrag behalten oder jetzt setzen. Das ist der Weg, den OpenAI heute dokumentiert. Das neue Signal folgt erst „in den kommenden Monaten“ (Unite.AI).

2. Das gemeinsame Signal zusätzlich eintragen. Es kostet dich zwei Zeilen und wirkt, sobald die Anbieter es umsetzen. Eine robots.txt, die das Training sperrt und die Suche erlaubt, sieht dann so aus:

User-Agent: GPTBot
Disallow: /

User-Agent: __usage_ai-training
Disallow: /

User-Agent: OAI-SearchBot
Allow: /

3. Überlegen, was du freigeben willst. Mit Allow kannst du einzelne Bereiche öffnen, etwa eine Pressemappe oder Produktbeschreibungen, mit denen KI-Modelle ruhig lernen dürfen. Vorteil des Pfad-Systems: Du entscheidest pro Ordner und nicht nur „alles oder nichts“.

4. Prüfen, ob du die robots.txt bearbeiten kannst. Viele Baukästen und Shop-Systeme erzeugen die Datei selbst. Wenn du deine Seite gerade aufbaust, gehört das auf die Checkliste. Mehr dazu, worauf du beim Bau achtest, steht in Website mit KI erstellen: Anleitung, Tools und Kosten.

5. Die Grenzen kennen. robots.txt ist laut RFC 9309 ausdrücklich keine Zugriffskontrolle. Crawler sollen die Regeln befolgen, technisch gezwungen werden sie nicht. Auch der Vokabular-Entwurf sagt, dass er keine Einhaltung garantiert. Und: Pfade, die du in der robots.txt nennst, sind für jeden lesbar. Was wirklich geschützt sein muss, gehört hinter ein Login.

Mein Eindruck: Die eigentliche Erleichterung kommt erst, wenn mehrere große Anbieter das Signal tatsächlich lesen. Dann musst du nicht mehr jeder neuen Crawler-Kennung hinterherlaufen. Bis dahin pflegst du beides.

Was sagt das Recht dazu?

Stand: Oktober 2026. In Deutschland erlaubt § 44b UrhG Text und Data Mining an rechtmäßig zugänglichen Werken, aber nur, wenn sich der Rechtsinhaber die Nutzung nicht vorbehalten hat. Für Werke, die online zugänglich sind, sagt Absatz 3: „Ein Nutzungsvorbehalt bei online zugänglichen Werken ist nur dann wirksam, wenn er in maschinenlesbarer Form erfolgt.“

Ein robots.txt-Eintrag ist maschinenlesbar. Ob gerade dieser Token im Einzelfall als wirksamer Vorbehalt nach § 44b UrhG gilt, regelt aber weder die Ankündigung von OpenAI noch der IETF-Entwurf. Der Draft beschreibt nur ein technisches Format. Ob ein Anbieter sich daran hält, ist laut Vokabular-Entwurf seine eigene Entscheidung. Wenn deine Inhalte dein Geschäft sind, etwa Fotos, Texte oder Kursmaterial, klärst du die Details mit einer Anwältin oder einem Anwalt.

Was die Woche sonst gebracht hat, fasst der Rückblick KI-News KW 44/2026 zusammen. Und wenn du ChatGPT selbst im Betrieb nutzt und wissen willst, was dabei mit deinen Daten passiert: Ist ChatGPT DSGVO-konform?

Quellen

• OpenAI: Helping websites express AI training preferences (Primärquelle, Ankündigung vom 30. Oktober 2026)
• IETF Datatracker: draft-kelley-aipref-training-preference-signal
• IETF Datatracker: draft-ietf-aipref-vocab
• OpenAI: Übersicht der Crawler
• RFC 9309: Robots Exclusion Protocol
• § 44b UrhG: Text und Data Mining
• Unite.AI: OpenAI to Honor Shared Robots.txt Signal

Häufige Fragen

Wie verbiete ich KI-Training auf meiner Website?

Bei OpenAI wirkt heute ein Disallow für den Crawler GPTBot in deiner robots.txt. Zusätzlich kannst du schon jetzt eine Gruppe mit User-Agent: __usage_ai-training und Disallow: / anlegen. OpenAI will dieses gemeinsame Signal in den kommenden Monaten beachten.

Reicht User-Agent: * mit Disallow, um KI-Training zu sperren?

Nein, nicht für das neue Signal. Laut IETF-Entwurf zählt eine Gruppe mit User-Agent: * nicht als Präferenz zum KI-Training. Du brauchst eine eigene Gruppe mit dem Token __usage_ai-training.

Verschwindet meine Website aus der ChatGPT-Suche, wenn ich GPTBot sperre?

Nein. Laut OpenAI lassen sich die Crawler unabhängig voneinander steuern. Für die Suche in ChatGPT ist OAI-SearchBot zuständig, fürs Training GPTBot. Du kannst also das Training sperren und in der Suche sichtbar bleiben.

Ist robots.txt ein rechtlich wirksamer Widerspruch gegen KI-Training?

Das deutsche Urheberrecht verlangt in § 44b Abs. 3 UrhG, dass ein Nutzungsvorbehalt bei online zugänglichen Werken maschinenlesbar erklärt wird. Ob ein bestimmter robots.txt-Eintrag diese Anforderung erfüllt, entscheidet die Ankündigung von OpenAI nicht. Im Einzelfall klärst du das mit einer Anwältin oder einem Anwalt.