- veröffentlicht
- Zeitraum
- Monatsdatensätze Februar bis Oktober 2026 des HTTP Archive, Verlauf auf denselben Startseiten
- Datenbasis
- HTTP Archive (BigQuery): 457.225 deutsche und 12,0 Mio. Startseiten weltweit mit robots.txt-Regeln; 77 vollständige robots.txt großer Shops; Server-Logs eines großen Shops
- Zählweise
- genannt = ausdrücklich als User-Agent aufgeführt; Sperrindikator = Eintrag mit Disallow ohne Allow (in 77 Shop-robots.txt bei 54 von 62 Einträgen eine Vollsperre)
Wie viele deutsche Websites und Shops KI-Bots in der robots.txt sperren
4,6 % der deutschen Startseiten nennen GPTBot in der robots.txt, bei 2,5 % steht für ihn Disallow ohne Allow; weltweit 8,3 % und 3,5 %. Bei den großen Websites ist es umgekehrt: Bis Rang 100.000 nennen 28,8 % der deutschen Seiten GPTBot (23,0 % mit Disallow ohne Allow), weltweit ohne Deutschland 13,9 %. Auf denselben Seiten wächst die Nennung in Deutschland von Februar bis Oktober von 3,5 auf 4,4 %.
Kurz gesagt
- 4,6 % der deutschen Startseiten nennen GPTBot in der robots.txt, bei 2,5 % steht für ihn Disallow ohne Allow. Weltweit sind es 8,3 % und 3,5 %. Bei allen 13 geprüften KI-Kennungen liegt Deutschland in der Breite unter dem Weltwert.
- Nach Größe dreht sich das Bild: Deutsche Startseiten bis CrUX-Rang 100.000 nennen GPTBot zu 28,8 % (23,0 % mit Disallow ohne Allow), weltweit ohne Deutschland 13,9 %. Bis Rang 1 Million liegt Deutschland noch knapp darüber, in der Klasse bis 10 Millionen darunter: Der deutsche Long Tail hat seltener Einträge als der weltweite.
- Auf denselben Startseiten wächst die Nennung von GPTBot in Deutschland von Februar bis Oktober 2026 von 3,5 auf 4,4 %, PerplexityBot verdoppelt sich ungefähr, OAI-SearchBot steigt auf das 2,7-Fache. Von 77 großen deutschen Shops sperren 4 GPTBot vollständig; bei OAI-SearchBot enthalten vier von sieben Einträgen nur Allow.
Messwerte der Studie
4,6 %
457.225 .de-Startseiten mit robots.txt-Regeln, Crawl Oktober 2026; weltweit 8,3 %
28,8 %
1.088 Startseiten mit CrUX-Rang bis 100.000; weltweit ohne Deutschland 13,9 %
3,5 → 4,4 %
432.997 Startseiten in beiden Datensätzen, davon 352.715 bzw. 360.897 mit Regelgruppen; Disallow ohne Allow 2,4 → 2,6 %
4 von 77
robots.txt vom 11.10.2026; 11 nennen GPTBot, 3 erlauben ihn ausdrücklich