Welche OpenAI-Bots machen was?
Wenn du einen ChatGPT-Crawler blockieren willst, entscheide zuerst über den Zweck. Die OpenAI-Dokumentation trennt diese vier Kennungen. Eine GPTBot-Sperre ist kein Such-Opt-out; eine Freigabe des Suchbots ist umgekehrt keine Zusage, dass ChatGPT deine Seite zitiert.
| Bot | Zweck | Beachtet robots.txt? | Folge beim Sperren |
|---|---|---|---|
GPTBot | Sammelt Inhalte, die für Modelltraining verwendet werden können. | Ja, Trainings-Opt-out über diese Kennung. | Training über GPTBot abwählen; die Suche bleibt unabhängig davon. |
OAI-SearchBot | Crawlt für die ChatGPT-Suche. | Ja, Such-Opt-out über diese Kennung. | Keine Aufnahme der Inhalte in Suchantworten; Navigationslinks bleiben möglich. |
ChatGPT-User | Ruft Seiten auf Nutzerwunsch ab, auch für Custom GPTs. | Bei Nutzeraktionen gelten robots.txt-Regeln möglicherweise nicht. | Keine verlässliche Abrufsperre; steuert die Suchaufnahme nicht. |
OAI-AdsBot | Prüft eingereichte Anzeigen-Zielseiten und deren Relevanz. | Ja, im dokumentierten Anzeigen-Kontext. | Verhindert den für die Anzeigenprüfung erforderlichen Zugang. |
OAI-AdsBot ist für eingereichte Anzeigen relevant. Laut OpenAI dienen seine erhobenen Daten nicht dem Training generativer Grundlagenmodelle; für die Anzeigenprüfung muss er die Zielseite erreichen können. Das verlangt keine Trainingsfreigabe für GPTBot (Anzeigen-Hilfe).
GPTBot blockieren oder erlauben: Was ist dein Ziel?
Wähle die Variante, die zu deiner Entscheidung passt. Die Bausteine sind Ergänzungen einer geprüften Gesamtdatei. Ersetze deine bestehende robots.txt nicht ungeprüft: Eine eigene Botgruppe übernimmt keine Pfadsperren aus User-agent: *. Trage benötigte Pfadregeln auch in der jeweiligen Botgruppe ein (RFC 9309).
In ChatGPT sichtbar, aber kein Training
Du sperrst GPTBot für mögliches Modelltraining und lässt OAI-SearchBot für die Suche zu. Das hält den Suchzugang offen, garantiert aber keine Zitierung; Regeln für ChatGPT-User und OAI-AdsBot ändert dieser Baustein nicht.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Alles erlauben
Du erlaubst den vier hier dokumentierten OpenAI-Botkennungen den Abruf aller Pfade: für mögliches Training, Suche, Nutzerabrufe und Anzeigenprüfung. Sind GPTBot und OAI-SearchBot erlaubt, kann OpenAI einen Crawl für beide Zwecke verwenden; eine Platzierung in Suchantworten ist damit nicht zugesagt.
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-AdsBot
Allow: /Alles sperren
Du setzt für alle vier Kennungen Disallow: / und schließt damit auch den Suchzugang und die Anzeigenprüfung aus; Navigationslinks können weiterhin erscheinen. Bei ChatGPT-User gelten robots.txt-Regeln möglicherweise nicht; für den gesonderten Cloud-Browser ist hier keine eigene robots.txt-Kennung belegt. Eine vollständige Abrufsperre oder rückwirkende Löschung aus trainierten Modellen ist damit nicht zugesagt.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: OAI-AdsBot
Disallow: /„Alles“ meint hier die vier Botkennungen, keine vollständige Zugangskontrolle für jede OpenAI-Anwendung. Private Inhalte brauchen Zugangsschutz: robots.txt ist laut RFC 9309 kein Sicherheitsmechanismus. Ein Opt-out verspricht auch keine rückwirkende Löschung aus bereits trainierten Modellen.
robots.txt reicht nicht: CDN und Firewall prüfen
Deine Datei kann OAI-SearchBot erlauben, während CDN, Web Application Firewall (WAF) oder Anwendung weiter blockieren. OpenAI nennt für die Suchaufnahme sowohl den erlaubten Crawl als auch durchgelassene Anfragen aus den veröffentlichten IP-Bereichen. Prüfe deshalb die öffentlich ausgelieferte Datei und die tatsächliche Antwort auf relevante Seiten.
Bei Cloudflare hängt die Voreinstellung vom Zeitpunkt der Einrichtung und von der Domain ab (Änderungen 2025, 2026, aktuelle Voreinstellungen). Prüfe den Status deiner Domain im Dashboard unter AI Crawl Control.
- Bot und Einstellung zuordnen. Cloudflares Botreferenz führt OAI-SearchBot als AI Search, GPTBot als AI Crawler und ChatGPT-User als AI Assistant. Kontrolliere den konkreten Bot in AI Crawl Control und die Search-/Agent-/Training-Regeln.
- Allow und WAF gemeinsam prüfen. In AI Crawl Control gibt es botbezogene Einstellungen; auch bei Allow kann robots.txt weiter durchgesetzt werden. Vorgelagerte WAF-Regeln können trotzdem sperren. Suche die konkrete Ursache für 403, 429, Challenges oder Login-Anforderungen.
- Die ausgelieferte robots.txt lesen. Cloudflare kann verwalteten Text voranstellen und mit Bot Preference Sync Regeln aus den Einstellungen erzeugen. Laut Anleitung kann eine Trainingssperre dabei auch am CDN durchgesetzt werden, mit einer Ausnahme für Crawler mit mehreren Zwecken. Nur die Datei am Ursprungsserver zu prüfen, reicht deshalb nicht.
Cloudflare bietet zusätzlich Content Signals für die Nutzung deiner Inhalte an, deren Auswertung OpenAI in den geprüften Quellen nicht verbindlich zugesagt hat.
Echte OpenAI-Bots in Server-Logs erkennen
Ein Botname im User-Agent ist ein Anhaltspunkt, kein Herkunftsnachweis. Solche Kennungen sind fälschbar; OpenAI empfiehlt eine Kombination aus Kennung, Anbieter-Verifizierung und passenden Freigaben. Der folgende Prüfweg leitet sich aus der OpenAI-Hilfe ab, er enthält keine Messwerte meiner Website:
- Anfrage eingrenzen. Suche nach der Botkennung und notiere tatsächliche Quell-IP, angefragten Pfad und Antwortstatus. Prüfe sowohl robots.txt als auch die relevante Inhaltsseite. Bleibt eine Anfrage bereits am CDN hängen, ziehe dessen Sicherheitsprotokoll hinzu.
- IP mit der richtigen Liste vergleichen. OpenAI verlinkt gptbot.json, searchbot.json, chatgpt-user.json und adsbot.json. Gleiche die Herkunft mit den passenden aktuellen CIDR-Netzen ab, also den veröffentlichten IP-Adressbereichen. Nutze verfügbare Anbieter-Verifizierung und übernimm keine dauerhaft eingefrorene Liste.
- Zugang und Wirkung trennen. Eine erfolgreiche Antwort belegt den Abruf. Sie belegt weder eine Zitierung noch eine Empfehlung in ChatGPT. Bei einer Ablehnung prüfst du die blockierende Regel und wiederholst die Zugangskontrolle nach der Korrektur.
Die ChatGPT-User-Liste ist offiziell verlinkt; ihr Inhalt ließ sich bei dieser Recherche wegen des Download-Content-Types nicht verifizieren. Einen OpenAI-Reverse-DNS-Namensraum samt Verfahren zur Rück- und Vorwärtsprüfung dokumentieren die geprüften Quellen ebenfalls nicht. Übertrage daher Googles DNS-Muster nicht auf OpenAI.
OpenAI dokumentiert signierte HTTP-Anfragen für den Cloud-Browser von ChatGPT Work. Diese Signaturzusage gilt nur für diesen Browser, nicht pauschal für die vier Botkennungen.
Denselben Prüfweg für Googlebot, ClaudeBot und PerplexityBot zeigt der Ratgeber Googlebot und KI-Crawler prüfen. Wie du überhaupt an deine Server-Logs kommst und was sie sonst verraten, erklärt die Anleitung zur Logfile-Analyse.
Häufige Fehler beim Blockieren von KI-Crawlern
- Alle Bots sperren, obwohl du nur Training ausschließen willst. Damit schließt du auch OAI-SearchBot aus. Prüfe die Zwecke getrennt.
- Die Stern-Gruppe übersehen.
User-agent: *mitDisallow: /sperrt auch den Suchbot, wenn keine passende eigene Gruppe existiert. Eine eigene Gruppe erbt umgekehrt keine allgemeinen Pfadsperren. - Botnamen und Pfade gleich behandeln. Laut RFC 9309 ist die Zuordnung von Botgruppen unabhängig von Groß-/Kleinschreibung;
gptbotist deshalb kein Sperrfehler. Der Pfadabgleich soll dagegen Groß-/Kleinschreibung beachten:/Intern/und/intern/nicht gleichsetzen. - Zusätzliche Dateien oder Tags als sicheren KI-Ausschalter behandeln. Für
noai,noimageai, eine allgemeine Auswertung beliebigerX-Robots-Tag-Direktiven oder automatisches Lesen vonllms.txtist hier keine verbindliche OpenAI-Unterstützung belegt. „Nicht dokumentiert“ beweist allerdings auch kein technisches Ignorieren.
Kurz zum Vergleich: Google-Extended
Google-Extended steuert per robots.txt, ob bereits gecrawlte Inhalte für künftige Gemini-Modelle in Gemini Apps und der Vertex-AI-API sowie als Quellen für aktuelle Antworten in Gemini Apps und Grounding with Google Search auf Vertex AI genutzt werden dürfen. Es steuert weder Aufnahme noch Ranking in Google Search und ist kein allgemeiner Ausschalter für AI Overviews oder AI Mode.
Quellen und Stand
Stand: 25. Oktober 2026. Grundlage sind die an diesem Tag dokumentierten offiziellen Quellen:
- OpenAI: Crawler-Dokumentation, Suchzugang, Anzeigen und Verifizierung, Cloud-Browser und Signaturen.
- IETF: RFC 9309: Botgruppen, Pfade und Grenzen von robots.txt.
- Cloudflare: Voreinstellungen, AI Crawl Control, WAF-Zusammenspiel und verwaltete robots.txt und Content Signals.
- Google: Crawler, fälschbare Kennungen und Google-Extended, KI-Funktionen der Suche.