Der Webhosting-Dienstleister Hostinger hat eine umfassende Analyse durchgeführt, um herauszufinden, welche KI-Agenten im Internet die Oberhand haben. Diese Untersuchung basiert auf Milliarden von Anfragen ihrer Kunden-Websites.
Die Ergebnisse zeigen, dass KI-Crawler wie der OpenAI-GPTBot täglich über 4,4 Millionen von insgesamt 5 Millionen Webseiten durchsuchen und damit sogar den Googlebot in seiner Reichweite übertreffen. Die Indexierung des Internets wird hauptsächlich von US-amerikanischen Anbietern dominiert, gefolgt von Unternehmen aus China.
Künstliche Intelligenz ist auf dem Vormarsch: Der OpenAI GPTBot hat sich schnell zu einem der führenden Crawler entwickelt und durchforstet mehr Webseiten als Googles eigener Bot. Laut einer aktuellen Studie des Webhosters Hostinger (www.hostinger.de) basierend auf über elf Milliarden täglichen Anfragen an rund 5 Millionen Websites und 55 verschiedenen User-Agent-Gruppen sind Bots mittlerweile ein integraler Bestandteil der Online-Welt geworden. Weniger bekannte Crawler verursachen fast 1,4 Milliarden tägliche Anfragen und besuchen dabei mehr als 4,2 Millionen Seiten. Automatisierte Skripte tragen mit ihren täglichen Requests ebenfalls erheblich zur digitalen Landschaft bei.
Bots sind automatisierte Programme zur Durchsuchung des Internets mit dem Ziel der Inhaltserfassung – ein Prozess bekannt als Crawling –, welcher Suchmaschinen hilft, Websites auffindbar zu machen. Neue KI-Crawler wie GPTBot sammeln Inhalte für Systeme wie ChatGPT. Bots senden sogenannte Requests an Websites zum Abrufen und Speichern deren Inhalte; die Anzahl dieser Requests zeigt die Intensität ihrer Datensammlung an.
Der Aufstieg der KI-Crawler
Besonders bemerkenswert ist das Wachstum bei den KI-Bots: Der OpenAI-GPTBot verarbeitet täglich mehr als 108 Millionen Anfragen und crawlt dabei über 4,4 Millionen Webseiten mit einer Abdeckung von beeindruckenden 84 Prozent – weit vor Googles Bot mit seinen knapp unter einer Milliarde Requests für etwa 3,9 Millionen Seiten bei nur rund drei Viertel Abdeckung.
- Meta-Bots: Facebooks fbexternalhit nutzt täglich über 70 Millionen Anfragen bei einer Abdeckung von gut zwei Dritteln; meta-externalagent kommt knapp unterhalb doppelt so vieler Requests jedoch nur auf etwas weniger Deckungsgleichheit hinreichend nahe dran heran (60%).
- AhrefsBot: Ein SEO-Tool erster Güteklasse dank seiner beachtlichen Reichweite (65%) gepaart mit etwa einem Viertelmilliarde gesammelter Datenpunkte jeden Tag!
- Bing-Bot:, weiterhin relevant durch Nutzung eines knappen Drittels aller verfügbaren Ressourcen ohne große Lücken hinterlassend (~58%).
- TikTok-Bot:, gezielt eingesetzt innerhalb spezifischer Bereiche erreicht er dennoch respektable Werte trotz geringerer Zahlen (~24%).
- SERush-bot :: Nutzt ähnlich viele Kapazitäten bleibt aber gleichauf hinsichtlich dessen was abgedeckt werden kann (~24 %).
- Apple – bot : Knapp hinter Tiktok & SERush zurückbleibend setzt man hier weniger Mittel effektiv ein um trotzdem konkurrenzfähig zu bleiben (~22 %).
- Claude – bot(Anthropic): Trotz geringer Verbreitung analysiert er kontinuierlich weiterführende Informationen (>66Mio.) wobei jedoch erst fünfprozentige Marktdurchdringung erzielt wurde .
Disclaimer : Eine prozentuale Deckungsrate bedeutet nicht zwangsläufig Ignoranz gegenüber anderen Bereichen ; vielmehr rotiert Fokus regelmäßig sodass letztendlich nahezu vollständiges Bild entstehen könnte innerhalb kürzester Zeitspanne .
Amerikanische sowie chinesische Dominanz im Netz
Auswertung legt nahe ,dass überwiegender Teil identifizierter Akteure großen US-Technologiekonzernen angehört(~80%),darunter Namen wie openai , google meta amazon microsoft apple anthropic ergänzt kleinerer Gruppe chinesischer Mitstreiter(10%) vertreten Baidu sogou Huawei PetalSearch während Restbestandteile weltweit verstreut auftreten beispielsweise Russland(Yandex),Großbritannien(Majestic)oder Niederlande(Dataprovider).
„Einerseits sehen Unternehmen Chancen generative Suchmaschinenoptimierung nutzen Sichtbarkeit verbessern wollen andererseits bringt Wandel Herausforderungen insbesondere finanzieller Natur wenn Tools bereits vollständige Antworten liefern Leser selten weiterklicken“, erklärt Giedrius Zakaitis Chief Product Technology Officer Hostinger.
<P Um Kontrolle Websitebetreibern gewährleisten führte hostingers AI Audit Erweiterung Content Delivery Network(CDN)eine Möglichkeit Kreativen Firmen KICrawlers verfolgen verwalten bietet .
<I "Künstliche Intelligenz eröffnet unglaubliche Möglichkeiten sollte allerdings Nachteil Kreativer werden dürfen selbst entscheiden ihre Beiträge neues Ökosystem leisten möchten Zielen Wertvorstellungen entsprechend ", betont Zakaitis."Genau darum geht es beim KIAudit WebsiteBetreibern nötige Transparenz Kontrolle bieten".
Über Untersuchung
Im Rahmen Analyse untersuchte hostingers Protokolle Besuche fünf Million Kundenwebseiten erhob Anzahl gestellter Fragen gecrawlten Seiten GesamtAbdeckungsgrad Zeitraum vom zwanzigsten August fünfundzwanzigsten August zweitausendfünfundzwanzig .
Über Hostingers
Hostingers weltweit führender Anbieter webhostinglösungen Domains Mission Menschen überall Welt Weg onlinebusiness erleichtern innovative Technologie leistungsstarke Server benutzerfreundliche Tools ermöglicht Unternehmen Entwicklern kreativen professionelle Webseiten schnell einfach erstellen gegründet Jahr zweitausendvier betreut heute millionen kunden hundertfünfzig Ländern steht erstklassige Performance hervorragenden Support erschwinglichen Preisen perfekte Kombination erfolgreiches digitales Wachstum .
Pressekontakt :
Klaas Geller | klaas.geller@tonka-pr.com | +49 Siebenundsechzig Vierhundertundsiebzehn Fünfhundertneunzehn Andreas Oertel | andreas.oertel@tonka-pr.com | +49 Dreißig Vierhundertsechsunddreißig Sechstausendeinhundertfünfzehn - Claude – bot(Anthropic): Trotz geringer Verbreitung analysiert er kontinuierlich weiterführende Informationen (>66Mio.) wobei jedoch erst fünfprozentige Marktdurchdringung erzielt wurde .