Notebookcheck Logo

ИИ-ползунки иногда имеют больший охват, чем Google Поиск

AI crawlers - это боты, или автоматизированные программы. Похожие на паука, они перемещаются по Интернету, собирая информацию. (Источник изображения: ChatGPT / OpenAI)
AI crawlers - это боты, или автоматизированные программы. Похожие на паука, они перемещаются по Интернету, собирая информацию. (Источник изображе
Боты от компаний, занимающихся искусственным интеллектом, теперь бороздят большую часть Интернета и в некоторых показателях более активны, чем боты традиционных поисковых систем от Google и других. Таковы результаты недавнего исследования, проведенного хостинг-провайдером Hostinger.

На протяжении десятилетий Google был бесспорным лидером в сборе информации из Интернета и, пожалуй, является самым ярким примером краулера для веб-сайтов. Эти автоматизированные программы ползают по Интернету и записывают найденный контент, позволяя поисковым системам делать сайты доступными для поиска. Но Google Search теперь сталкивается с конкуренцией, поскольку системам искусственного интеллекта также требуются данные из Интернета, поэтому компании, занимающиеся разработкой искусственного интеллекта, такие как OpenAI, внедряют своих собственных ботов для поиска информации в Интернете.

В конце августа 2025 года хостинг-провайдер Hostinger провел исследование доступности 5 миллионов веб-сайтов для краулеров. Особенно поразительно, что, например, бот GPT от OpenAI достиг 4,4 из 5 миллионов сайтов, тем самым обеспечив больший охват, чем бот Google, который получил доступ "всего" к 3,9 миллионам сайтов. Менее известные боты, такие как SEO-бот Ahrefs, бот Claude от Anthropic, а также боты Meta, TikTok, Bing и Apple также были очень активны, генерируя в общей сложности около 1,4 миллиарда ежедневных запросов к 5 миллионам сайтов.

Тот факт, что некоторые боты достигают меньшего процента охвата, чем другие, не означает, что они игнорируют определенные части Интернета. Скорее, программы чередуют свои цели и таким образом создают почти полную карту Интернета за более длительный период времени (но все же в течение нескольких недель).

Исследование также показывает, что около 80% запросов поступает от американских технологических компаний, около 10% - из Китая, а на другие страны приходится незначительная доля. Это означает, что в индексации Интернета в основном доминируют провайдеры из США, а внутри этой страны - несколько крупных технологических компаний. В результате небольшое количество платформ оказывает значительное влияние на то, какой контент будет виден и какие ответы генерируют системы искусственного интеллекта.

Источник(и)

Этот важный материал точно понравится твоим друзьям в социальных сетях!
Mail Logo
'
Bernhard Rotter, 2025-10-18 (Update: 2025-10-18)