На протяжении десятилетий Google был бесспорным лидером в сборе информации из Интернета и, пожалуй, является самым ярким примером краулера для веб-сайтов. Эти автоматизированные программы ползают по Интернету и записывают найденный контент, позволяя поисковым системам делать сайты доступными для поиска. Но Google Search теперь сталкивается с конкуренцией, поскольку системам искусственного интеллекта также требуются данные из Интернета, поэтому компании, занимающиеся разработкой искусственного интеллекта, такие как OpenAI, внедряют своих собственных ботов для поиска информации в Интернете.
В конце августа 2025 года хостинг-провайдер Hostinger провел исследование доступности 5 миллионов веб-сайтов для краулеров. Особенно поразительно, что, например, бот GPT от OpenAI достиг 4,4 из 5 миллионов сайтов, тем самым обеспечив больший охват, чем бот Google, который получил доступ "всего" к 3,9 миллионам сайтов. Менее известные боты, такие как SEO-бот Ahrefs, бот Claude от Anthropic, а также боты Meta, TikTok, Bing и Apple также были очень активны, генерируя в общей сложности около 1,4 миллиарда ежедневных запросов к 5 миллионам сайтов.
Тот факт, что некоторые боты достигают меньшего процента охвата, чем другие, не означает, что они игнорируют определенные части Интернета. Скорее, программы чередуют свои цели и таким образом создают почти полную карту Интернета за более длительный период времени (но все же в течение нескольких недель).
Исследование также показывает, что около 80% запросов поступает от американских технологических компаний, около 10% - из Китая, а на другие страны приходится незначительная доля. Это означает, что в индексации Интернета в основном доминируют провайдеры из США, а внутри этой страны - несколько крупных технологических компаний. В результате небольшое количество платформ оказывает значительное влияние на то, какой контент будет виден и какие ответы генерируют системы искусственного интеллекта.
Источник(и)
Хостингер через Presseportal