Server-Log-Analyse: KI-Assistenten in einem großen Onlineshop – Abrufe, Besuche und Käufe

In der Studie zum ChatGPT-utm-Ausfall habe ich gezeigt, wie schnell Besuche aus ChatGPT in der Webanalyse untergehen. Hier gehe ich einen Schritt weiter. Mich interessieren drei Fragen: Welche KI-Bots rufen den Shop ab, und was lesen sie? Antwortet ChatGPT eher aus dem eigenen Suchindex oder mit frischen Seitenabrufen? Und kaufen Menschen, die über KI-Assistenten kommen, anders als Besucher aus der Google-Suche? Die Übersicht meiner Studien zu SEO und KI-Suche ordnet diese Messung neben den anderen ein.

Datenbasis und Methode

Grundlage sind die Server-Logs eines großen Onlineshops vom 30. September bis 25. Oktober 2026, ausgewertet nach Kalendertagen in der Ortszeit des Shops. Der 30. September enthält nur den Abend und fehlt deshalb in allen Zeitvergleichen. Dazu kommen die Webanalyse und die Google-Klicks je Produkt aus der Search Console desselben Shops. Ich trenne drei Ebenen:

• Abrufe: Anfragen von KI-Bots, erkannt an ihrer Kennung (User-Agent). Wo der Anbieter IP-Bereiche veröffentlicht, ist jede Anfrage dagegen geprüft. Ein Abruf ist kein Besuch eines Menschen. ChatGPT-User und Claude-User nenne ich Live-Abrufe: Sie holen eine Seite, während jemand im Chat eine Frage stellt.
• Besuche: Seitenaufrufe ohne Bot-Kennung, deren Adresse ein KI-Kennzeichen trägt, zum Beispiel utm_source=chatgpt.com. Ein Besuch beginnt mit dem ersten Seitenaufruf je IP-Adresse und KI-Quelle nach mehr als 30 Minuten Pause. Das ist eine Näherung, keine gezählte Person und kein geprüfter Klick. Mit 5 oder 60 Minuten Pause ändert sich die Zahl der Besuche insgesamt um weniger als 8 %.
• Käufe: aus der Webanalyse, nur Besucher mit Einwilligung, Kauf in derselben Sitzung. Ausgewertet sind der 1. bis 7. und der 16. bis 25. Oktober 2026. Die Woche des utm-Ausfalls dazwischen lasse ich aus. Die Webanalyse ist nicht mit einzelnen Log-Zeilen verknüpft.

Seitentypen ordne ich nach dem Muster der Adresse zu: Produktseiten, Kategorien, Ratgeber und Magazin, Startseite, Bilder und Dateien sowie Übriges. Der Auszug aus den Logs enthält die erkannten KI-Bots und die Anfragen mit KI-Kennzeichen; die normale Shopnavigation liegt mir nicht vollständig vor. Den Shop nenne ich nicht. Statt absoluter Zahlen stehen hier nur Anteile und Verhältnisse.

Wer ruft ab

Rund 1,1 % aller Anfragen an den Shop kamen in diesen 26 Tagen von KI-Bots. Die Bezugsgröße aller Anfragen liegt mir nur gerundet vor, der Wert ist deshalb eine Größenordnung. Mehr als die Hälfte der KI-Abrufe stammt von meta-externalagent. Danach folgen OAI-SearchBot, der Bot für die Suche in ChatGPT, und PerplexityBot.

Die Live-Abrufe, gezählt nach den Kennungen ChatGPT-User und Claude-User, machen zusammen nur 3,7 % der KI-Abrufe aus. Der weitaus größte Teil sind Crawler, die vorab Seiten sammeln: für Suchindizes wie OAI-SearchBot und PerplexityBot oder für das Training von Modellen wie GPTBot und ClaudeBot, so beschreiben es OpenAI und Anthropic.

Echt oder nur gleich benannt?

Eine Bot-Kennung kann jeder in seine Anfrage schreiben. OpenAI, Anthropic, Perplexity, Apple und Amazon veröffentlichen deshalb Listen ihrer IP-Bereiche. Für die meisten Bots stammt fast jede Anfrage aus diesen Bereichen:

Zwei Werte fallen ab. Bei OAI-SearchBot kamen 94,6 % der Anfragen aus der Liste. Die übrigen Anfragen holten fast ausschließlich Bilder und Dateien, kaum Seiten. Bei Claude-User waren es 66,4 %. Anthropic veröffentlicht für alle seine Bots eine einzige Liste mit 14 Einträgen, die meisten davon einzelne Adressen (Stand 20.10.2026). Ein Teil der echten Live-Abrufe kann aus Netzen stammen, die dort nicht aufgeführt sind. Ich spreche deshalb von Anfragen außerhalb der veröffentlichten Liste, nicht von gefälschten. Bei Amazonbot kamen 99,7 % der Anfragen aus der Liste von Amazon (Stand 08.09.2026); der kleine Rest stammt überwiegend aus Netzen von Google Cloud. Auf der Crawler-Seite von Meta ist für meta-externalagent keine IP-Liste veröffentlicht (Stand 27.10.2026). Ich habe deshalb das Netz geprüft: Mehr als 99,9 % der Anfragen kamen aus dem Netz von Meta (AS32934). Das ist schwächer als ein Listenabgleich. Abrufe mit Meta-Kennung aus fremden Netzen kommen in diesem Shop aber praktisch nicht vor.

Vor und nach dem 8. Oktober

Am 8. Oktober 2026 wurde laut Search Engine Journal GPT-6 auch für die kostenlosen ChatGPT-Tarife freigeschaltet. Ich habe die Abrufe pro Stunde vor und ab diesem Tag verglichen, nur Anfragen aus den veröffentlichten IP-Bereichen. Das ist eine Beschreibung, keine Ursache: Auch andere Dinge ändern sich über drei Wochen.

Server-Logs eines großen Onlineshops, 30.09.–25.10.2026. Vorher: 1. bis 7. Oktober; ab dem 8. Oktober: 8. bis 25. Oktober. Zweite Spalte: je sieben Tage mit derselben Wochentagsmischung vor und nach dem Stichtag.

OAI-SearchBot rief nach dem Stichtag rund 2,2-mal so oft pro Stunde ab wie davor, PerplexityBot 1,6-mal. ChatGPT-User lag bei 0,74, GPTBot bei 0,63. Bei gleicher Wochentagsmischung bleibt das Bild für OAI-SearchBot, PerplexityBot und ChatGPT-User ähnlich. Für GPTBot kippt es: Dort liegt das Verhältnis bei 1,1. Für GPTBot ist der Rückgang deshalb nicht belastbar.

Was KI liest

Die Bots lesen sehr unterschiedliche Teile des Shops. Live-Abrufe gehen überwiegend auf Produktseiten: 83,0 % bei ChatGPT-User, 77,1 % bei Claude-User. Ratgeber und Magazin spielen mit höchstens 4,6 % kaum eine Rolle. Die Crawler holen dagegen viele Bilder und Dateien: ClaudeBot zu 70,1 %, meta-externalagent zu 55,5 %, OAI-SearchBot zu 45,5 %.

Server-Logs eines großen Onlineshops, 30.09.–25.10.2026. Für die Bots von OpenAI, Anthropic, Perplexity und Apple nur Anfragen aus den veröffentlichten IP-Bereichen, Amazonbot und meta-externalagent nach Kennung. Zeilensummen können durch Rundung von 100 abweichen. „Übriges“: Startseite, Suche, Schnittstellen und Adressen ohne festen Typ, auch Fehlerseiten.

Ein Abruf zeigt, dass der Bot eine Adresse angefragt hat. Ob er den Inhalt verarbeitet oder in einer Antwort verwendet hat, zeigen Logs nicht.

Wo Bots auf Weiterleitungen treffen

Manche Bots fragen Adressen in einer anderen Form an, als der Shop sie führt. Der Shop antwortet dann mit einer Weiterleitung; folgt der Bot ihr, braucht er mindestens eine weitere Anfrage. Am häufigsten passiert das bei Claude-User:

Bei Claude-User landet mehr als die Hälfte der Live-Abrufe auf einer Weiterleitung. In 93 % dieser Fälle fehlt der abschließende Schrägstrich der Adresse. Der Bot fragt die Adresse also ohne abschließenden Schrägstrich an. Bei Applebot tragen fast alle weitergeleiteten Adressen Großbuchstaben, bei Amazonbot knapp vier von fünf, oft zusammen mit Parametern. Großbuchstaben sind in Produktadressen aber auch regulär möglich, die Ursache bleibt dort offen. ChatGPT-User und OAI-SearchBot treffen nur selten auf Weiterleitungen (2,2 % und 1,4 %).

Index oder Live-Abruf

ChatGPT kann eine Produktseite auf zwei Wegen kennen. OAI-SearchBot sammelt Seiten vorab für den Suchindex. ChatGPT-User holt eine Seite live, während jemand fragt. Ich habe jeden ChatGPT-Besuch auf einer Produktseite mit den Abrufen derselben Seite davor verknüpft.

Ausgewertet sind die Besuche vom 16. bis 25. Oktober, nach dem utm-Ausfall vom 8. bis 15. Oktober, den ich ausklammere. Als Vorlauf zählen alle erfolgreichen Abrufe aus den veröffentlichten IP-Bereichen ab dem 30. September, die streng vor dem Besuch lagen.

Bei 92,8 % der ChatGPT-Besuche auf Produktseiten hatte OAI-SearchBot dieselbe Seite vorher abgerufen. Das klingt nach einem klaren Befund, ist aber keiner. OAI-SearchBot rief in 26 Tagen 69,8 % aller aktiven Produkte ab und 99,0 % der Produkte, die bei Google am meisten geklickt werden. Fast jedes gefragte Produkt war also ohnehin schon abgerufen. Die ChatGPT-Besuche liegen mit 92,8 % sogar knapp unter dem Wert für alle bei Google geklickten Produkte (96,6 %). Für eine Auswahl durch den Index spricht das nicht.

Belastbarer ist der zweite Wert: Nur bei 6,5 % der Besuche hatte ChatGPT-User dieselbe Seite in der Stunde davor live abgerufen. Nehme ich alle gekennzeichneten Aufrufe von Produktseiten statt nur der Besuchsanfänge, sind es 7,2 %. Bei den Besuchen mit vorherigem Abruf durch OAI-SearchBot lag dieser selten höchstens eine Stunde zurück (1,7 %), meist mehr als einen Tag (56,5 %).

Und wann war der Bot zuletzt da? Für beide Bots habe ich gemessen, wie lange der letzte erfolgreiche Abruf derselben Produktseite vor dem Besuch zurücklag:

Server-Logs eines großen Onlineshops, 30.09.–25.10.2026. 16.–25.10.2026, ohne die Tage des utm-Ausfalls; nur erfolgreiche Abrufe aus den veröffentlichten IP-Bereichen, die vor dem Besuch lagen. Abrufe vor dem 30. September sind unbekannt.

Bei einem Drittel der Besuche hatte ChatGPT-User die Seite seit dem 30. September gar nicht geholt, bei knapp der Hälfte zuletzt vor mehr als einem Tag. Live-Abrufe gibt es also, aber meist Tage vor dem Besuch und damit für andere Gespräche. Das spricht dafür, dass ChatGPT frühere Abrufe und Index-Daten wiederverwendet; belegen lässt sich das mit Logs nicht.

Ein Hinweis auf solche anderen Wege: 36,1 % der ChatGPT-Besuche trugen Feed- oder Shopping-Merkmale in der Adresse. Das deutet auf Shopping-Verlinkungen hin; ob es Produktkarten waren und ob der Shop über einen Feed dorthin kam, zeigen die Logs nicht.

Mehr Käufe je Sitzung aus ChatGPT

Für die Käufe nutze ich die Webanalyse. Verglichen habe ich Sitzungen, die über ChatGPT oder Gemini kamen, mit Sitzungen aus der organischen Google-Suche. Gezählt sind Käufe in derselben Sitzung, nur von Besuchern mit Einwilligung, am 1. bis 7. und 16. bis 25. Oktober 2026. Statt Kaufraten nenne ich nur das Verhältnis zu Google organisch.

Auf Sitzungen aus ChatGPT entfielen rund 1,5-mal so viele Käufe je Sitzung wie auf Sitzungen aus der organischen Google-Suche. Beginnt die Sitzung auf einer Produktseite, sind es rund 2,3-mal so viele. Bei Gemini zeigt sich dieselbe Richtung (1,4 und 2,0), allerdings auf kleiner Fallzahl, also unsicherer. Der Umsatz je Sitzung liegt bei ChatGPT nur 1,17-mal so hoch wie bei Google organisch. Ein einzelner Kauf aus ChatGPT fällt im Mittel also kleiner aus.

75,5 % der ChatGPT-Sitzungen beginnen auf einer Produktseite, bei Google organisch sind es 57,8 %. ChatGPT-Sitzungen beginnen also häufiger auf Produktseiten. Auch innerhalb dieses Einstiegs liegen die Käufe je Sitzung höher. Ob unterschiedliche Such- oder Kaufabsichten dazu beitragen, habe ich nicht gemessen.

Perplexity, Claude und Copilot bringen in diesen Tagen zu wenige Sitzungen für ein Verhältnis. Perplexity liegt ebenfalls über Google organisch, bei Claude und Copilot gibt es nur einzelne Käufe. Eine Ursache belegen diese Zahlen nicht. Sie beschreiben, wer über welchen Weg kam und was in derselben Sitzung geschah.

KI und Google: dieselben Produkte?

Ich habe die Produkte mit mindestens einem ChatGPT-Besuch mit den Produkten verglichen, die in der Search Console mindestens einen Google-Klick hatten. Die Überschneidung ist mäßig: Der Jaccard-Wert liegt bei 0,34. Von allen Produkten, die in mindestens einer der beiden Listen stehen, findet sich also rund ein Drittel in beiden.

• 84 % der über ChatGPT besuchten Produkte hatten auch Google-Klicks. ChatGPT schickt Besucher also überwiegend zu Produkten, die auch in der Google-Suche gefragt sind.
• 16 % hatten im 90-Tage-Zeitraum der Search Console (16. Juli bis 13. Oktober) keinen einzigen Google-Klick. „Ohne Klick“ heißt: kein Klick in den Search-Console-Daten, nicht unbekannt bei Google.
• Umgekehrt bekam nur gut ein Drittel (36 %) der bei Google geklickten Produkte auch einen ChatGPT-Besuch. Dazu tragen das längere Messfenster und die größere erfasste Verkehrsmenge bei Google bei.

Die Zeiträume sind nicht deckungsgleich: Google-Klicks vom 16. Juli bis 13. Oktober, ChatGPT-Besuche vom 30. September bis 25. Oktober. Zähle ich nur ChatGPT-Besuche bis zum 13. Oktober, haben 13,7 % der Produkte keinen Google-Klick. Die Größenordnung bleibt damit gleich.

Zum Vergleich: eine kleine Website

Ist das typisch für große Shops oder für alle Websites? Als Gegenprobe habe ich dieselben Kennzahlen für evergrowsolution.de im selben Zeitraum ausgewertet: eine kleine Website mit Ratgebern und Werkzeugen, ohne Produkte. Die Logs dieser Website enthalten nur gekürzte IP-Adressen. Die Echtheit ist dort deshalb nur auf Netzebene geprüft, und Anteile aus wenigen Anfragen sind unsicher.

Zwei Dinge fallen auf. Erstens ist der Anteil der KI-Bot-Anfragen auf der kleinen Website höher. Warum, zeigen diese Kennzahlen nicht; naheliegend, aber nicht geprüft ist, dass sie wenige menschliche Besucher hat und die Bots trotzdem kommen. Zweitens landet Claude-User dort kaum auf Weiterleitungen, allerdings bei nur 13 Anfragen. Im Shop hängen viele Weiterleitungen mit Adressen ohne abschließenden Schrägstrich zusammen. Das spricht eher für eine Eigenheit der Shop-Adressen als für ein Verhalten des Bots, sicher trennen lässt es sich mit so wenigen Anfragen aber nicht. Gemeinsam ist beiden: meta-externalagent ist der größte KI-Crawler, und ChatGPT-User holt fast nur Seiten, keine Bilder oder Dateien.

Weltweit, Deutschland, großer Shop, kleine Website

Ist der Shop ein Sonderfall? Für die Einordnung habe ich die öffentlichen Daten von Cloudflare Radar für denselben Zeitraum abgerufen: wie viele Anfragen KI-Bots an Websites hinter Cloudflare stellen, weltweit und mit dem Standortfilter Deutschland. Verglichen werden dieselben sieben Bots (ClaudeBot, GPTBot, OAI-SearchBot, PerplexityBot, ChatGPT-User, Amazonbot, Applebot). meta-externalagent lasse ich im Verlauf weg: Er stellt im Shop über die Hälfte der KI-Anfragen und würde die Reihe allein prägen.

Weltweit bleiben dieselben Bots meist zwischen 85 und 120 % des Ausgangswerts. Im Shop liegen sie ab dem 7. Oktober an vielen Tagen 40 bis 100 % darüber, getrieben von OAI-SearchBot, am 17. Oktober mehr als dreimal so hoch. In Deutschland schwanken die Werte stärker und liegen vom 17. bis 21. Oktober ebenfalls etwa doppelt so hoch. Am 17. Oktober steigen alle drei Reihen gleichzeitig, im Shop aber am stärksten. Der Shop zeigt also zusätzliche Ausschläge, die weltweit fehlen. Der erste starke Anstieg liegt am 7. Oktober, dem Tag, an dem GPT-6 in den Bezahltarifen startete; ab dem 8. Oktober kamen die kostenlosen Tarife hinzu. Eine Ursache belegen die Logs nicht.

Wer crawlt: dieselben acht Bots im Vergleich

Anteil an den Anfragen dieser acht Bots, 30.09.–25.10.2026. Weltweit und Deutschland (Standortfilter): Cloudflare Radar. Shop und kleine Website: Server-Logs, alle Anfragen mit der jeweiligen Kennung.

Im Shop ist meta-externalagent noch dominanter als im Durchschnitt, und die Such-Bots OAI-SearchBot und PerplexityBot holen sich einen größeren Teil als weltweit. ClaudeBot und GPTBot, die laut ihren Betreibern vor allem für das Training sammeln, sind im Shop deutlich seltener. Laut Cloudflare entfällt weltweit der größte Einzelanteil der KI-Anfragen auf das Training (44 %), weitere 39 % auf Bots mit gemischtem Zweck; nur 4 % sind Live-Abrufe für Nutzer, in Deutschland 13 %. Und der Handel ist das häufigste Ziel: Auf ihn entfallen weltweit 29 % der KI-Bot-Anfragen, mehr als auf jede andere einzelne Branche.

Wie viele Abrufe kommen auf einen Besuch?

Cloudflare misst anders als ich: dort zählen Seitenaufrufe, die über ihre Herkunftsangabe als Klick von der Plattform erkennbar sind, hier Besuche mit utm-Kennzeichen. Klicks aus Apps können ohne Herkunftsangabe ankommen und dann in beiden Zählungen fehlen. Ein genauer Faktor lässt sich daraus nicht ableiten, der Abstand ist aber groß: Im von Cloudflare erfassten Verkehr kamen auf einen erkannten Aufruf über einen ChatGPT-Link rund 861 Seitenabrufe der OpenAI-Bots, in diesem Shop auf einen gekennzeichneten Besuch etwa 25. Bis zum 7. Oktober waren es 14, ab dem 16. Oktober 37: Die geschätzten Abrufe je Tag lagen danach höher und die gekennzeichneten Besuche je Tag niedriger. Ob dahinter weniger Besuche oder nur mehr Besuche ohne Kennzeichen stehen, lässt sich aus den Logs nicht trennen (siehe utm-Ausfall). Zum Vergleich: Bei Anthropic kommen weltweit 486 Abrufe auf einen erkannten Aufruf, bei Perplexity 3.934.

Wie oft verbieten Shops KI-Bots in der robots.txt?

Weltweit: Cloudflare Radar, robots.txt der meistbesuchten Domains der Kategorie Ecommerce, ganz oder teilweise gesperrt, Stand Oktober 2026. Deutschland: Studie KI-Lesbarkeit von 100 Onlineshops, 90 auswertbare robots.txt (73 live abgerufen, 17 aus dem Internet Archive, Stand März bis Oktober 2026), gezählt, wenn die Startseite für den Bot gesperrt ist.

In beiden Auswahlen sind robots.txt-Verbote für diese fünf Bots die Ausnahme, und die Trainings-Bots werden häufiger ausgeschlossen als die Bots für Suche und Live-Abruf. Direkt vergleichbar sind die Spalten nicht: Cloudflare zählt auch einzelne gesperrte Pfade, die eigene Studie nur gesperrte Startseiten. Die robots.txt ist zudem nur eine Bitte; ein Bot-Schutz kann Bots auch ohne Eintrag abweisen. Wichtig für Shops: Laut OpenAI erscheinen Seiten, die OAI-SearchBot aussperren, nicht in den Suchantworten von ChatGPT, höchstens noch als Navigationslink. In diesem Shop hatte OAI-SearchBot bei fast allen ChatGPT-Besuchen auf Produktseiten die Seite vorher abgerufen.

Was andere messen

Zur Einordnung die wichtigsten öffentlichen Zahlen aus anderen Datenquellen. Sie beruhen auf anderen Grundgesamtheiten und Methoden und sind deshalb Kontext, kein direkter Vergleich.

• meta-externalagent ist auch anderswo groß: Bei Fastly entfielen von Mitte April bis Mitte Juli 2025 52 % der Anfragen von KI-Crawlern auf Meta (Fastly, 19.08.2025). Cloudflare sah im Juli 2025 GPTBot vorn und Meta auf Rang drei (Cloudflare, 29.08.2025). Die Rangfolge hängt also von Netz und Zeitraum ab.
• Viel KI-Verkehr im Handel: Akamai sieht im Commerce-Bereich besonders viel KI-Bot-Verkehr, über 25 Milliarden Anfragen im Juli und August 2025; davon entfallen drei Viertel der Erkennungen auf den Einzelhandel (Akamai, Fraud and Abuse Report 2025).
• Kaufen KI-Besucher häufiger? Adobe maß für US-Händler im Juli 2025 noch eine um 23 % niedrigere Kaufquote bei Besuchen aus KI-Diensten (Adobe, 21.08.2025), in der Weihnachtssaison 2025 dann eine um 31 % höhere als bei anderen Quellen (Adobe, 12.01.2026), im Juli 2026 im Einzelhandel 60 % höher (Adobe, 19.08.2026). Eine Auswertung von 973 Shops mit Daten aus 2025 kommt dagegen im bereinigten Hauptmodell zu rund 13 % höheren Kaufchancen für Besucher aus der organischen Suche als für Besucher aus ChatGPT; in mehreren Robustheitsprüfungen war der Unterschied nicht signifikant (Kaiser und Schulze, Marketing Science, 2026). Die Vergleiche hängen also stark von Zeitraum und Datenbasis ab. Das Ergebnis dieses Shops liegt auf der Seite der neueren Adobe-Zahlen, ist aber ebenfalls kein Beweis für eine Ursache.
• Die Kennung allein reicht nicht: Auf geschützten Medienseiten bestand im Median ein großer Teil der Abrufe, die sich als GPTBot ausgaben, die Prüfung nicht. Über alle GPTBot-Abrufe des Panels zusammen waren es nur 2 %, weil sich die echten Abrufe auf wenige große Websites konzentrierten (Centinel Analytica, 2026). Wie viele solcher Abrufe auftauchen, hängt also stark von der Website ab. Centinel prüft breiter als ich; ich habe die Kennungen über die veröffentlichten IP-Listen geprüft, wo es sie gibt, und werte eine fehlende Übereinstimmung nicht als Beweis für eine Fälschung.
• Der Trend zu Such-Bots ist nicht neu: Ein Monatsreport aus Cloudflare-Radar-Daten zeigt für Januar bis September 2026, dass der Anteil von OAI-SearchBot am weltweiten KI-Bot-Verkehr von 1,7 auf 3,6 % stieg und PerplexityBot von 0,2 auf 2,2 %, während GPTBot von 12,6 auf 6,2 % fiel. Von OpenAIs Anfragen entfielen im September 45 % auf Such- und Live-Abruf-Bots, im Januar 19 %. Der Handel war mit 25,7 % die größte Zielbranche (SEOmator, 10.10.2026). Die Verschiebung zu OAI-SearchBot, die dieser Shop im Oktober zeigt, passt in dieses Bild.

Was Shops daraus ableiten können

Die Zahlen stammen aus einem Shop. Meine Empfehlungen leite ich daraus ab, sie gelten aber allgemein und nicht nur für diesen Shop. Nach Wichtigkeit:

1. Produktseiten für die Suchindizes der KI-Anbieter zugänglich halten. Bei fast allen ChatGPT-Besuchen auf Produktseiten hatte OAI-SearchBot die Seite vorab abgerufen, live nachgeladen wurde selten. Laut OpenAI erscheinen Seiten, die OAI-SearchBot aussperren, nicht in den Suchantworten von ChatGPT. Das gilt auch, wenn ein Bot-Schutz ihn unbeabsichtigt abweist. Welcher OpenAI-Bot wofür zuständig ist, steht im Ratgeber GPTBot, OAI-SearchBot, ChatGPT-User.
2. Live-Abrufe nicht blockieren. ChatGPT-User und Claude-User fragen zu 77 bis 83 % Produktseiten an, und zwar dann, wenn jemand im Chat danach fragt. Eine Sperre oder strenge Abrufgrenze trifft diese Momente direkt. OpenAI weist darauf hin, dass robots.txt-Regeln für ChatGPT-User möglicherweise nicht gelten; dann helfen nur Regeln am Server oder im Bot-Schutz. Claude-User lässt sich laut Anthropic über die robots.txt steuern.
3. Weiterleitungen für abweichende Adressformen sauber halten. Bots fragen Adressen ohne abschließenden Schrägstrich oder in anderer Schreibweise an. Eine einzige Weiterleitung direkt auf die gültige Adresse, ohne Ketten, kostet sie nur eine zusätzliche Anfrage.
4. Den KI-Kanal mit einem zweiten Signal messen. Neben der Webanalyse die Live-Abrufe und die gekennzeichneten Besuche in den Server-Logs zählen. Die Webanalyse sieht nur Besucher mit Einwilligung, und das Kennzeichen kann ausfallen, wie im Oktober 2026.
5. Bots über die offiziellen IP-Listen prüfen, nicht per User-Agent. Die Kennung allein beweist nichts. Wenn eine Liste sehr klein ist, ist „außerhalb der Liste“ aber noch kein Beleg für eine Fälschung. Wie die Prüfung geht, steht im Ratgeber Googlebot und KI-Crawler prüfen.

Grenzen der Untersuchung

• Vergleichsdaten mit anderer Methode: Cloudflare Radar zählt Anfragen an Websites hinter Cloudflare und erkennt Bots auf eigene Weise. Verläufe und Anteile dienen deshalb der Einordnung; wegen unterschiedlicher Grundgesamtheiten, Erkennung, Tagesgrenzen und Bezugsgrößen sind sie nur eingeschränkt vergleichbar. Was der Standortfilter Deutschland genau abgrenzt, beschreibt Cloudflare nicht im Detail. Die externen Studien haben andere Grundgesamtheiten.
• Ein Shop, 26 Tage: Die Werte beschreiben diesen Shop in diesem Zeitraum. Andere Sortimente, Größen und Länder können anders aussehen. Die kleine Website ist eine Gegenprobe, keine repräsentative Stichprobe.
• Besuche sind Näherungen: Sie beruhen auf IP-Adresse, Kennzeichen und 30 Minuten Pause. Mehrere Personen hinter einer Adresse fallen zusammen, wechselnde Adressen teilen einen Besuch. Besuche ohne Kennzeichen fehlen ganz.
• Logs zeigen keine Antworten: Der Abgleich von Index und Live-Abruf ist eine zeitliche Übereinstimmung derselben Adresse. Abrufe vor dem 30. September und andere Datenquellen sind unbekannt.
• Käufe nur mit Einwilligung: Die Webanalyse ist nicht hochgerechnet. Die Verhältnisse beschreiben Gruppen, keine Ursache. Für Gemini sind es wenige Käufe, für Perplexity, Claude und Copilot zu wenige für ein Verhältnis.
• Ungleiche Zeiträume: Google-Klicks und ChatGPT-Besuche stammen aus verschiedenen Zeiträumen.
• Echtheit nach Listenstand: Geprüft gegen die veröffentlichten IP-Listen zum Zeitpunkt der Auswertung (Amazon: Stand 08.09.2026, neuere Adressen können fehlen). Für meta-externalagent ist keine Liste veröffentlicht; geprüft ist nur das Netz von Meta. In den Anteilen und Verläufen sind beide nach Kennung gezählt.
• Zeitvergleich ohne Ursache: Unterschiedliche Tage, Saison und Änderungen bei den Anbietern lassen sich nicht trennen.
• Seitentypen und Weiterleitungen: Die Zuordnung folgt Mustern der Adresse. Das Ziel einer Weiterleitung steht nicht in den Logs.

Quellen

• Eigene Auswertung: Server-Logs eines großen Onlineshops, 30. September bis 25. Oktober 2026; Webanalyse desselben Shops, 1. bis 7. und 16. bis 25. Oktober 2026; Google-Klicks je Produkt aus der Search Console, 16. Juli bis 13. Oktober 2026. Anonymisiert, nur Anteile und Verhältnisse.
• OpenAI: Overview of OpenAI Crawlers (OAI-SearchBot, GPTBot, ChatGPT-User, IP-Listen).
• Amazon: Amazonbot (IP-Liste, Stand 08.09.2026). Meta: Meta Web Crawlers (Kennungen, keine IP-Liste).
• Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (ClaudeBot, Claude-User, Claude-SearchBot, IP-Liste).
• Perplexity: Perplexity Crawlers (PerplexityBot, Perplexity-User, IP-Listen).
• Apple: About Applebot (Prüfung über DNS und IP-Liste).
• Matt G. Southern: ChatGPT Traffic Drop Appears To Be A Tracking Problem, Search Engine Journal, 15.10.2026 (Einführung von GPT-6).
• Cloudflare Radar, KI-Insights und robots.txt-Daten: radar.cloudflare.com, über die Radar-Schnittstelle abgerufen am 27.10.2026.
• Cloudflare: The crawl-to-click gap, 29.08.2025. Fastly: Threat Research Q2 2025, 19.08.2025. Akamai: Fraud and Abuse Report 2025.
• Adobe Digital Insights: Generative AI-powered shopping rises, 21.08.2025; AI-driven traffic surges across industries, 12.01.2026; U.S. consumers are embracing LLMs, 19.08.2026.
• Kaiser, M. und Schulze, C.: ChatGPT Referrals to E-Commerce Websites, Marketing Science, 2026.
• SEOmator (Emre Elbeyoglu): Monatlicher AI Crawler Report: September 2026, 10.10.2026, Daten aus Cloudflare Radar, Januar bis September 2026.
Centinel Analytica: Fake Googlebot and AI crawlers: 2026 data, 22.09.2026, aktualisiert 30.09.2026.
• Quellen abgerufen am 26. oder 27.10.2026; Datenstand je Quelle wie angegeben.