Fast jede Woche liest man, „immer mehr Websites sperren KI-Crawler aus“. Für die USA gibt es dazu Zahlen, für Deutschland kaum. Das HTTP Archive erfasst bei jedem Monatscrawl die robots.txt von Millionen Startseiten und zählt je Kennung die Allow- und Disallow-Zeilen; seit einer Schemaänderung im Februar 2026 lassen sich die Monate vergleichen. Damit lässt sich die Frage für Deutschland beantworten, mit Verlauf und nach Größe. In der Studie zur KI-Lesbarkeit hatte ich die robots.txt von 100 großen deutschen Shops schon einzeln gelesen; die dienen hier als Gegenprobe. Die Übersicht meiner Studien ordnet diese Messung neben den anderen ein.
4,6 %
der deutschen Startseiten nennen GPTBot
457.225 .de-Startseiten mit robots.txt-Regeln, Crawl Oktober 2026; weltweit 8,3 %
28,8 %
bei den deutschen Websites bis Rang 100.000
1.088 Startseiten mit CrUX-Rang bis 100.000; weltweit ohne Deutschland 13,9 %
3,5 → 4,4 %
GPTBot genannt auf denselben deutschen Seiten
432.997 Startseiten in beiden Datensätzen, davon 352.715 bzw. 360.897 mit Regelgruppen; Disallow ohne Allow 2,4 → 2,6 %
4 von 77
große deutsche Shops sperren GPTBot vollständig
robots.txt vom 11.10.2026; 11 nennen GPTBot, 3 erlauben ihn ausdrücklich
HTTP Archive, Monatsdatensätze Februar bis Oktober 2026, mobile, Startseiten; 100 große deutsche Shops, robots.txt vom 11.10.2026.
Datenbasis und Methode
Grundlage ist das HTTP Archive, ein öffentlicher Datensatz in Google BigQuery, der jeden Monat die Startseiten aller Websites lädt, die im Chrome-Nutzungsbericht (CrUX) genug Navigationen haben. Dabei holt das HTTP Archive auch die robots.txt und zählt je Kennung (User-Agent) die Zeilen mit Allow, Disallow und Crawl-delay. Seit der Schemaänderung vom Februar 2026 (Metrik im Quellcode) sind diese Zähler so abgelegt, dass sich die Monate vergleichen lassen; Google hat die Auswertung im April 2026 im Podcast Search Off the Record vorgestellt. Ich habe die Monatsdatensätze Februar bis Oktober 2026 ausgewertet, jeweils die Handy-Variante und nur Startseiten; jede Startseite wird je Monatscrawl einmal gemessen, das Datum des Datensatzes ist nicht der Abruftag (HTTP-Archive-FAQ).
- Deutschland sind alle Startseiten, deren Host auf
.deendet: im Oktober 552.750 Seiten, davon 457.225 mit einer robots.txt, die mindestens eine Regelgruppe enthält. Auf diese Seiten beziehen sich alle Prozentwerte. Weltweit sind alle 15.366.242 Startseiten des Datensatzes, 12.023.939 mit Regelgruppen. - Shops sind Startseiten, auf denen das HTTP Archive eine Shop-Technologie erkannt hat (Kategorie E-Commerce, zum Beispiel Shopware, Shopify, WooCommerce, JTL, Magento oder eine generische Warenkorb-Erkennung): Deutschland 96.915, weltweit 3.533.514 mit Regelgruppen. Erkennt das HTTP Archive mehrere Shop-Technologien, übernehme ich eine davon.
- Genannt heißt: Die Kennung ist ausdrücklich als User-Agent aufgeführt, auch wenn sie eine Gruppe mit anderen Kennungen oder mit
*teilt. Disallow ohne Allow ist mein Sperrindikator: Der Eintrag für diese Kennung enthält mindestens ein Disallow und kein Allow. Pfade kennt die Metrik nicht, deshalb kann sie eine Vollsperre (Disallow: /) nicht von einer Teilsperre unterscheiden. - Kalibrierung: In den vollständigen robots.txt der 100 großen Shops (77 mit lesbarer Datei) habe ich jeden Eintrag für 21 KI-Kennungen eingeordnet, 119 Einträge in 17 Shops. Von 62 Einträgen, die der Indikator als Sperre zählt (aus zwölf Shops), waren 54 Vollsperren und 8 Teilsperren. Für andere Website-Arten habe ich das nicht geprüft.
- Größe ist die CrUX-Popularitätsklasse der Website (Methodik): ein grobes Maß nach der Zahl der Navigationen in Chrome, kein Umsatz. Die Rohklassen (1.000, 5.000, 10.000, 50.000, 100.000, 500.000, 1 Million, 5 Millionen, 10 Millionen, 50 Millionen) sind in der Darstellung kumuliert.
Regeln in der robots.txt gelten nach dem Gruppenprinzip: Eine Kennung mit passender Gruppe folgt dieser Gruppe, sonst den Regeln für *. Wer GPTBot nicht nennt, hat deshalb nicht unbedingt alles erlaubt; für ihn gelten dann die Regeln für alle, die auch eine Vollsperre sein können. Die Studie zählt nur ausdrückliche Nennungen und Einträge mit Disallow ohne Allow.
Deutschland gegen weltweit
Im Oktober 2026 nennen 4,6 % der deutschen Startseiten GPTBot in der robots.txt, bei 2,5 % steht für ihn Disallow ohne Allow. Weltweit sind es 8,3 % und 3,5 %. Deutschland liegt damit in der Breite unter dem Weltwert, bei jeder der 13 Kennungen und bei beiden Maßen. Die Reihenfolge der Bots ist in beiden Gruppen fast gleich: GPTBot vorn, dann ClaudeBot, Bytespider und CCBot; die Such- und Live-Kennungen OAI-SearchBot, ChatGPT-User und Claude-Web werden am seltensten genannt.
- GPTBot 4,6 % (2,5 %)
- ClaudeBot 3,7 % (1,4 %)
- Bytespider 3,0 % (2,1 %)
- CCBot 2,9 % (1,6 %)
- Google-Extended 2,8 % (1,1 %)
- meta-externalagent 2,8 % (1,8 %)
- Amazonbot 2,6 % (1,4 %)
- PerplexityBot 2,3 % (0,7 %)
- ChatGPT-User 2,1 % (0,8 %)
- anthropic-ai 2,1 % (0,9 %)
- Applebot-Extended 2,1 % (0,9 %)
- OAI-SearchBot 1,7 % (0,5 %)
- Claude-Web 1,0 % (0,6 %)
HTTP Archive, Monatsdatensatz Oktober 2026 (date = 2026-10-01), mobile, Startseiten mit robots.txt-Regelgruppen: 457.225 Startseiten mit Host auf .de.
- GPTBot 4,6 % → 8,3 % · n = 457.225
- ClaudeBot 3,7 % → 7,4 % · n = 457.225
- Bytespider 3,0 % → 5,5 % · n = 457.225
- CCBot 2,9 % → 6,3 % · n = 457.225
- Google-Extended 2,8 % → 6,3 % · n = 457.225
- meta-externalagent 2,8 % → 5,1 % · n = 457.225
- Amazonbot 2,6 % → 5,5 % · n = 457.225
- PerplexityBot 2,3 % → 4,4 % · n = 457.225
- ChatGPT-User 2,1 % → 3,9 % · n = 457.225
- OAI-SearchBot 1,7 % → 3,4 % · n = 457.225
HTTP Archive, Monatsdatensatz Oktober 2026 (date = 2026-10-01), mobile, Startseiten mit robots.txt-Regelgruppen: 457.225 deutsche und 12.023.939 Startseiten weltweit.
Bei Shops ist der Abstand bei der Nennung ähnlich: 6,9 % der deutschen Shops nennen GPTBot (2,8 % mit Disallow ohne Allow), weltweit 11,7 % (2,7 %). Auffällig ist, dass Shops weltweit GPTBot zwar häufiger nennen als Websites insgesamt, der Sperrindikator aber nicht häufiger anschlägt. Ein Teil der Nennungen kann aus Plattform-Vorlagen mit Allow stammen; ob das der Grund ist, lassen die Zähler offen.
Große Websites sperren GPTBot häufiger
Sortiert nach Größe dreht sich das Bild. Unter den deutschen Startseiten mit CrUX-Rang bis 100.000 nennen 28,8 % GPTBot, und bei 23,0 % steht Disallow ohne Allow. Weltweit ohne Deutschland sind es in derselben Klasse 13,9 % und 10,2 %. Bis Rang 10.000 liegt Deutschland bei 48,5 % (132 Seiten) gegen 18,1 %. Bis Rang 1 Million liegt Deutschland noch leicht darüber (10,7 % gegen 10,3 %); in der Klasse bis 10 Millionen darunter (5,0 % gegen 8,6 %).
- bis 10.000 (132 dt. Seiten) 48,5 % → 18,1 % · n = 132
- bis 100.000 (1.088 dt. Seiten) 28,8 % → 13,9 % · n = 1.088
- bis 1 Million (13.455 dt. Seiten) 10,7 % → 10,3 % · n = 13.455
- bis 10 Millionen (236.450 dt. Seiten) 5,0 % → 8,6 % · n = 236.450
- alle (457.225 dt. Seiten) 4,6 % → 8,4 % · n = 457.225
HTTP Archive, Monatsdatensatz Oktober 2026 (date = 2026-10-01), mobile, Startseiten mit robots.txt-Regelgruppen. Rang = CrUX-Popularitätsklasse der Website. Die Klasse bis 1.000 enthält nur 15 deutsche Startseiten und ist in „bis 10.000“ enthalten.
In dieser Stichprobe nennen und sperren die großen deutschen Websites GPTBot also häufiger als die großen Websites anderer Länder, während der deutsche Long Tail seltener Einträge hat als der weltweite. Der niedrige Gesamtwert für Deutschland entsteht aus der Masse kleiner Seiten: 443.770 der 457.225 ausgewerteten deutschen Startseiten liegen jenseits von Rang 1 Million. Woher die Unterschiede kommen, ob aus der Struktur der Betreiber, aus Vorlagen der Plattformen oder aus anderem, sagen die Zähler nicht.
Shops und Shopsysteme
Unter den deutschen Shops mit erkanntem System unterscheiden sich die Quoten stark. Abgesehen vom Sonderfall Squarespace nennen Magento-Shops GPTBot am häufigsten, Shops auf Wix praktisch nie. Eine Vermutung ist, dass Größe und Plattform dahinterstecken: Magento läuft eher in größeren Shops, Wix erzeugt die robots.txt selbst, Squarespace trägt die KI-Bots in der Standardkonfiguration ein. Geprüft habe ich das nicht; eine Größenbereinigung je System liegt nicht vor. Die Zahlen gelten nur für Systeme mit mindestens 300 deutschen Startseiten mit Regelgruppen.
| Shopsystem | Startseiten | GPTBot genannt | GPTBot: Disallow ohne Allow | ClaudeBot genannt | CCBot genannt |
|---|---|---|---|---|---|
| WooCommerce | 13.938 | 2,3 % | 1,1 % | 2,0 % | 1,6 % |
| Wix eCommerce | 7.976 | 0,1 % | 0,0 % | 0,1 % | 0,1 % |
| Shopify | 2.937 | 1,8 % | 0,3 % | 1,6 % | 1,0 % |
| Gambio | 2.201 | 1,5 % | 1,2 % | 1,2 % | 1,4 % |
| JTL Shop | 1.099 | 2,8 % | 1,8 % | 2,0 % | 1,8 % |
| Magento | 716 | 8,1 % | 5,4 % | 6,8 % | 5,9 % |
| Pimcore | 688 | 2,6 % | 2,0 % | 2,2 % | 3,3 % |
| PrestaShop | 474 | 4,9 % | 3,0 % | 5,1 % | 3,8 % |
| Squarespace Commerce | 442 | 99,8 % | 0,2 % | 99,8 % | 99,8 % |
| Shopware | 311 | 2,3 % | 1,3 % | 2,9 % | 1,9 % |
HTTP Archive, Monatsdatensatz Oktober 2026 (date = 2026-10-01), mobile, Startseiten mit robots.txt-Regelgruppen, Host auf .de, Shopsystem laut HTTP-Archive-Technologieerkennung (Wappalyzer), bei mehreren erkannten Systemen eines davon; nur Systeme mit mindestens 300 Startseiten mit Regelgruppen. Die generische Erkennung „Cart Functionality“ (69.806 Startseiten, 64.146 mit Regelgruppen, GPTBot genannt 8,6 %, Disallow ohne Allow 3,5 %) ist kein System und fehlt in der Tabelle.
Verlauf Februar bis Oktober 2026
Die Monatswerte roh zu vergleichen führt in die Irre: Die Zusammensetzung des Crawls ändert sich von Monat zu Monat, und ein Teil der Websites ändert seine robots.txt. Im Datensatz September nannten weltweit 1,57 Millionen Startseiten GPTBot; davon waren im Oktober 1,25 Millionen noch im Crawl, und nur 790.000 nannten GPTBot weiterhin. Stichproben der Seiten, die die Nennung verloren haben, zeigen Wegwerfdomains mit identischer Vorlage; eine systematische Einordnung habe ich nicht vorgenommen. Ich vergleiche deshalb nur dieselben Startseiten, die im Februar und im Oktober im Crawl waren: 432.997 deutsche und 10.726.748 weltweit. Je Monat zählt davon die Teilmenge mit Regelgruppen (Deutschland 352.715 im Februar, 360.897 im Oktober); Shop-Zugehörigkeit und Rangklasse stammen aus dem Februar.
- Deutschland, alle 3,5 % → 4,4 % · n = 360.897
- Deutschland, Shops 5,8 % → 6,6 % · n = 78.851
- Deutschland, Rang bis 1 Million 8,9 % → 10,5 % · n = 14.097
- weltweit, alle 7,6 % → 7,9 % · n = 8.650.145
- weltweit, Shops 11,2 % → 11,7 % · n = 2.676.537
- weltweit, Rang bis 1 Million 10,8 % → 10,6 % · n = 498.050
HTTP Archive, Monatsdatensätze Februar und Oktober 2026, mobile, Startseiten, die in beiden Datensätzen enthalten sind; n = Startseiten mit Regelgruppen im Oktober.
In Deutschland steigt die Nennung von GPTBot auf denselben Seiten von 3,5 % auf 4,4 %, der Anteil mit Disallow ohne Allow von 2,4 % auf 2,6 %. Bei den großen deutschen Seiten bis Rang 1 Million geht es von 8,9 % auf 10,5 %. Weltweit bleibt die Nennung fast flach (7,6 % auf 7,9 %), der Anteil mit Disallow ohne Allow sinkt von 4,3 % auf 3,5 %. Welche Regeländerungen dahinterstehen, lässt die Zählung offen. 5.717 deutsche Seiten haben GPTBot zwischen Februar und Oktober neu aufgenommen, 1.956 haben die Nennung entfernt.
Am stärksten wachsen die neueren Kennungen: PerplexityBot verdoppelt sich in Deutschland ungefähr, von 1,0 % auf 2,1 %; OAI-SearchBot steigt auf etwa das 2,7-Fache, von 0,6 % auf 1,6 %.
Gegenprobe: 100 große deutsche Shops
Für die Lesbarkeits-Studie hatte ich am 11. Oktober 2026 die robots.txt von 100 großen deutschen Shops geprüft, 77 davon vollständig gelesen; die übrigen waren gesperrt oder lieferten Fehler. Dort sehe ich die Pfade und kann Voll- von Teilsperren trennen:
| Kennung | genannt | Vollsperre | Teilsperre | nur Allow | gemischt |
|---|---|---|---|---|---|
| gptbot | 11 | 4 | 2 | 3 | 2 |
| oai-searchbot | 7 | 1 | 1 | 4 | 1 |
| chatgpt-user | 6 | 2 | 1 | 2 | 1 |
| claudebot | 10 | 5 | 0 | 2 | 3 |
| perplexitybot | 9 | 3 | 1 | 3 | 2 |
| google-extended | 5 | 2 | 0 | 2 | 1 |
| ccbot | 7 | 5 | 0 | 0 | 2 |
| bytespider | 7 | 3 | 0 | 2 | 2 |
| amazonbot | 6 | 3 | 1 | 0 | 2 |
| meta-externalagent | 7 | 2 | 1 | 2 | 2 |
| applebot-extended | 5 | 1 | 0 | 2 | 2 |
Eigene Messung, robots.txt vom 11.10.2026, 77 von 100 Shops mit lesbarer Datei. Vollsperre = Disallow: / ohne Allow; gemischt = Allow und Disallow in einem Eintrag oder Sperre mit Ausnahmen. Shops, die eine Kennung nicht nennen, fallen unter deren Regeln für *; die sind hier nicht ausgewertet.
11 der 77 Shops (14,3 %) nennen GPTBot, 4 sperren ihn vollständig (5,2 %), 3 erlauben ihn ausdrücklich. Das passt zum HTTP Archive: Große Shops nennen KI-Bots häufiger als der Durchschnitt, sperren aber nur zu einem Teil. CCBot und ClaudeBot werden, wenn sie genannt sind, meist gesperrt. Bei OAI-SearchBot, dem Crawler für die Suche in ChatGPT, enthalten vier der sieben Einträge nur Allow, einer eine Vollsperre, einer eine Teilsperre. Die Lesbarkeits-Studie hatte mit ihrer eigenen, vollständigen Regelprüfung bei 1 von 90 Shops eine Sperre für OAI-SearchBot gefunden.
Kommen gesperrte Bots trotzdem?
Eine robots.txt ist eine Bitte, keine Schranke. Ob ein Bot sie beachtet, zeigen nur Server-Logs, und auch die nur mit Vorsicht. Der große Onlineshop aus meiner Studie zu KI-Assistenten sperrt von den KI-Kennungen nur Bytespider (ByteDance, TikTok). In 26 Tagen Logs kamen aus dem Netz von ByteDance 17 Anfragen mit dieser Kennung, alle an einem Tag, alle auf Bilder und Dateien, keine Seitenabrufe. Das passt zu einer beachteten Sperre, ist aber zu wenig für einen Nachweis; ob diese Anfragen wirklich von ByteDance stammen, habe ich nicht gesondert geprüft. Daneben standen 1.629 Anfragen mit Bytespider-Kennung aus anderen Netzen (AWS, Google Cloud, kleinere Hoster), deren Betreiber ich nicht zuordnen kann; 713 davon gehören zu einem Akteur, den meine Logauswertung als Angriffsscanner einstuft, 333 seiner Anfragen gingen auf typische Angriffspfade. Wer im Log „Bytespider“ sieht, kann daraus nicht auf ByteDance schließen.
Für GPTBot, ClaudeBot und PerplexityBot habe ich in diesem Shop keine Sperre und damit keinen Test. Was ich messen konnte, steht in der KI-Assistenten-Studie: Bei GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, PerplexityBot und Applebot kamen 94,6 bis rund 99,9 % der Anfragen aus den veröffentlichten IP-Bereichen, bei Claude-User 66,4 %. Das belegt die Herkunft, nicht die Beachtung einer Sperre. Wie man Kennungen prüft, beschreibt der Ratgeber Googlebot und KI-Crawler prüfen.
Was das für Shops heißt
- Die meisten nennen GPTBot nicht. 95,4 % der ausgewerteten deutschen Startseiten und 93,1 % der Shops nennen GPTBot nicht ausdrücklich; für ihn gelten dann die Regeln für
*. Wer das nicht bewusst so gewählt hat, sollte es prüfen. - Training und Suche trennen. GPTBot sammelt für das Training, OAI-SearchBot für die Suche in ChatGPT, ChatGPT-User holt Seiten live während einer Antwort (OpenAI-Dokumentation). In den 77 großen Shops wird OAI-SearchBot dort, wo er genannt ist, überwiegend erlaubt, und die Lesbarkeits-Studie fand nur bei 1 von 90 Shops eine Sperre. Wer in ChatGPT-Antworten vorkommen will, sollte es genauso halten.
- Vorlagen prüfen. Wer bei Cloudflare, Squarespace oder im Shopsystem einen Schalter umlegt, bekommt eine fertige Gruppe in die robots.txt. Die Vorlagen sperren oft alles oder nichts; die Trennung nach Zweck muss man selbst nachziehen. Mein Bot-Check zeigt, welche Kennung bei dir welche Regel bekommt.
- Sperre im Log prüfen. Eine Sperre wirkt nur bei Bots, die sich daran halten. Welche das sind, sagt dir nur dein eigenes Log. Anfragen, deren Betreiber du nicht zuordnen kannst, steuerst du nicht über die robots.txt, sondern über einen Bot-Schutz.
Grenzen der Untersuchung
- Deutschland = .de. Deutsche Betreiber auf .com, .shop oder .eu fehlen, einzelne .de-Domains sitzen im Ausland. Die 100 großen Shops enthalten auch .com-Domains und zeigen ein ähnliches Bild.
- Nur Startseiten, nur Handy-Crawl, eine Messung je Monatsdatensatz. Die robots.txt gilt für die ganze Website, der Crawl trifft aber nur Websites mit genug Chrome-Navigationen. Sehr kleine Websites fehlen. Die Zahlen beschreiben diese Stichprobe, nicht alle deutschen Betreiber.
- Zeilen, keine Pfade. „Disallow ohne Allow“ war in den 77 Shop-Dateien bei 54 von 62 Einträgen eine Vollsperre. Für andere Website-Arten kann der Anteil abweichen; eine leere Disallow-Zeile (sie erlaubt alles) zählt der Indikator trotzdem als Sperre, Sperren über
*erfasst er nicht. Die Nennung ist davon unabhängig. - Shop-Erkennung. Die Technologieerkennung des HTTP Archive übersieht Shops ohne erkennbares System, zählt generische Warenkorb-Erkennung mit und liefert bei mehreren Systemen eines davon. Die Shopsystem-Tabelle nennt deshalb nur Systeme mit mindestens 300 Startseiten.
- Vorlagen und Crawl-Zusammensetzung. Cloudflare- und Plattform-Vorlagen sowie wechselnde Websites im Crawl verzerren vor allem die weltweiten Monatswerte. Der Verlauf beruht deshalb auf denselben Startseiten in beiden Datensätzen, mit je Monat eigener Teilmenge mit Regelgruppen.
- Ein Log, ein gesperrter Bot. Der Bytespider-Befund stammt aus einem einzigen Shop und einem Monat und reicht nicht als Nachweis, dass der Crawler eine Sperre beachtet.
Quellen
- HTTP Archive, Tabelle
httparchive.crawl.pagesin Google BigQuery, Monatsdatensätze Februar bis Oktober 2026 (date = 2026-02-01 bis 2026-10-01), Spaltecustom_metrics.robots_txt; Abfragen am 28.10.2026. FAQ zur Datenerhebung. - HTTPArchive/custom-metrics, Pull Request 191 (zusammengeführt am 03.02.2026): robots.txt-Metrik, Zählung je User-Agent.
- Google Search Off the Record: Analysing robots.txt at scale with HTTP Archive and BigQuery, 23.04.2026.
- Google: robots.txt-Spezifikation, Rangfolge der User-Agents (Gruppenprinzip).
- Cloudflare: Managed robots.txt (Bot Preference Sync), Stand 28.10.2026.
- Squarespace: Request that AI models exclude your site, Stand 08.01.2026; robots.txt von squarespace.com, geprüft am 28.10.2026.
- Chrome UX Report: Popularitätsklassen.
- Google BigQuery: Preise und Freimenge.
- OpenAI: Overview of OpenAI crawlers (GPTBot, OAI-SearchBot, ChatGPT-User).
- Cloudflare Radar: AI Insights, Deutschland, 30.09.–25.10.2026 (API-Abruf 27.10.2026): Anteile der KI-Bot-Anfragen je Kennung (ClaudeBot 14,2 %, Googlebot 12,5 %, PerplexityBot 6,0 %, GPTBot 4,8 %, Bytespider 4,8 %, CCBot 4,6 %); Anteile an Anfragen, nicht an Websites.
- Eigene Messungen: KI-Lesbarkeit, 100 große Shops (robots.txt vom 11.10.2026) und KI-Assistenten in einem großen Onlineshop (Server-Logs 30.09.–25.10.2026, anonymisiert).
