Crawler-Statistik 2025: GPTBot auf Platz 3
Bei den Zugriffen von Crawlern auf Web-Inhalte haben sich deutliche Veränderungen ergeben. Google liegt weiterhin klar vorn, doch der GPTBot verzeichnete ein starkes Wachstum und rückte auf Platz 3 vor.
Wachsende Bedeutung von KI-Crawlern
Web-Crawler sind zentrale Bestandteile des Internets. Sie durchsuchen Inhalte für Suchmaschinen und stellen Nutzern relevante Ergebnisse bereit. In den letzten Jahren haben sich ihre Aufgaben verändert. Mit dem Aufkommen künstlicher Intelligenz sammelt eine neue Generation von KI-Crawlern gezielt Daten für das Training von Modellen. Diese Entwicklung wirft Fragen zum Urheberrecht, zur Datennutzung und zur Belastung der Infrastruktur auf.
Laut einem Bericht von Cloudflare machen Bots mittlerweile rund 30 Prozent des weltweiten Internetverkehrs aus.
Starkes Wachstum der Crawler-Aktivitäten
Zwischen Mai 2024 und Mai 2025 stieg der gesamte Traffic von Such- und KI-Crawlern um 18 Prozent. Unter Berücksichtigung neuer Kunden lag der Zuwachs sogar bei 48 Prozent. Der Höhepunkt wurde im April 2025 mit einer 32-prozentigen Steigerung gegenüber Mai 2024 erreicht.
Verschiebungen bei den führenden Crawlern
Die Verteilung der Top-Crawler hat sich innerhalb eines Jahres deutlich verändert:
- Googlebot: Anteil stieg von 30 % auf 50 %, mit einem Anstieg der Anfragen um 96 %.
- GoogleOther: Wachstum um 14 % bei den Anfragen.
- GPTBot: Anteil am gesamten Crawler-Traffic wuchs von 2,2 % auf 7,7 %, ein Plus von 305 %. Im Bereich der KI-Crawler stieg der Anteil von 5 % auf 30 %.
- ChatGPT-User: Anstieg der Anfragen um 2.825 %, Anteil bei 1,3 %.
- PerplexityBot: Höchster Zuwachs mit 157.490 % bei den Anfragen, Anteil von 0,2 %.
- Meta-ExternalAgent: Erreichte einen Anteil von 19 % unter den KI-Crawlern.
Rückgang bei etablierten Crawlern
Einige bekannte KI-Crawler verloren deutlich an Bedeutung:
- Bytespider: Rückgang von 22,8 % auf 2,9 %, Anfragen sanken um 85 %.
- ClaudeBot: Rückgang von 11,7 % auf 5,4 %, mit 46 % weniger Anfragen.
- Amazonbot: Rückgang der Anfragen um 35 %.
- Applebot: Rückgang der Anfragen um 26 %.
- Bingbot: Anteil sank leicht von 10 % auf 8,7 %, mit einem moderaten Anstieg der Anfragen um 2 %.
- FriendlyCrawler: Vollständiger Rückgang, nicht mehr unter den Top 20.
Neue Herausforderungen für Website-Betreiber
Angesichts dieser Verschiebungen stehen Website-Betreiber vor der Aufgabe, den Zugriff von Crawlern besser zu kontrollieren. Traditionell geschieht dies über die robots.txt-Datei, mit der der Zugriff einzelner Crawler erlaubt oder unterbunden wird. Im Juni 2025 enthielten etwa 14 % der Top-10.000-Domains spezifische Regeln für KI-Bots. Der GPTBot wurde dabei am häufigsten blockiert – und zugleich am häufigsten ausdrücklich erlaubt.
Die Wirksamkeit der robots.txt ist umstritten, da nicht alle Crawler sich daran halten und viele Betreiber unsicher im Umgang damit sind. Immer mehr Websites wechseln zu aktiven Schutzmaßnahmen wie Web Application Firewalls.
Cloudflare bietet dafür ein erweitertes Modell an, das neben dem Sperren und Zulassen auch eine dritte Option ermöglicht: Betreiber können mit Pay per Crawl einen Preis pro Zugriff festlegen.