Cloudflare теперь будет блокировать веб-скреперы с искусственным интеллектом, которые не платят за данные

Объявив "День независимости контента", генеральный директор Cloudflare Мэтью Принс объявил о масштабных изменениях в инфраструктуре веб-сервисов компании, которые теперь будут по умолчанию блокировать всех веб-ботов, использующих искусственный интеллект.

В сообщении в блоге https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/принс подчеркнул, что современный ландшафт веб-поиска все больше определяется чат-ботами с искусственным интеллектом, такими как Gemini от Google или ChatGPT от OpenAI. Несмотря на их полезность, они также свободно соскабливают доступные данные в Интернете без каких-либо последствий и не выплачивают компенсацию их создателям.

Принс утверждал, что из-за недавних изменений в Google Search создателю контента теперь в десять раз "сложнее получить тот же объем трафика", что и десять лет назад.

"Вместо того чтобы быть справедливой сделкой", - сказал Принс. "Веб зачищается краулерами ИИ, а создатели контента не видят почти никакого трафика и, следовательно, почти никакой ценности"

Принс сказал, что соскобленный контент "является топливом для двигателей ИИ", и было бы справедливо, если бы его создатели получали за него компенсацию.

Cloudflare также объявила о планах создания рыночной площадки, которая объединит создателей и компании, занимающиеся разработкой искусственного интеллекта. Рынок будет оценивать доступный контент не только по количеству генерируемого им трафика, но и "по тому, насколько он способствует развитию знаний" Принс считает, что это поможет двигателям искусственного интеллекта стать быстрее и "потенциально будет способствовать новому золотому веку создания высокоценного контента"

Принс признался, что у него пока нет всех ответов, но компания работает с "ведущими учеными-компьютерщиками и экономистами, чтобы выяснить их"

Недавно SourceHut, служба git-хостинга с открытым исходным кодом https://status.sr.ht/issues/2025-03-17-git.sr.ht-llms/заявил, что у него были перебои в работе из-за "агрессивных краулеров LLM", и заблокировал несколько облачных провайдеров, включая Google Cloud и Microsoft Azure, из-за большого объема входящего трафика из их сетей.

В январе компания DoubleVerify, платформа для веб-аналитики, сообщила о 86%-ном увеличении общего недействительного трафика (GIVT) от AI-скрепперов и других автоматизированных инструментов в сети по сравнению с 2024 годом.

Несмотря на предыдущие обещания, GPTbot от OpenAI также нашел способы игнорировать или обходить robot.txt сайта, что приводит к огромному росту трафика для владельцев доменов и дорогостоящим счетам.