Пилотный проект European Open Web Index предоставляет доступ почти к 1 петабайту данных, полученных с помощью краулеров

Консорциум OpenWebSearch.eu в следующем месяце откроет первый федеративный общеевропейский индекс Open Web Index (OWI) для внешних тестеров. Пилотный проект предоставляет доступ почти к одному петабайту веб-данных и является первым шагом на пути к долгосрочному индексу, рассчитанному на 5 ПБ и, в конечном счете, на 10 ПБ контента.

В отличие от обычной поисковой системы, OWI функционирует как общая электронная библиотека, к которой могут обращаться сторонние сервисы - поисковые порталы, поставщики больших языковых моделей или исследовательские группы - для получения документов. Партнерство из 14 членов, включающее университеты, суперкомпьютерные центры, технологические фирмы и ЦЕРН, финансирует создание инфраструктуры в попытке уменьшить зависимость Европы от собственных индексов, поддерживаемых Google, Microsoft и другими американскими операторами.

Сторонники утверждают, что централизация вокруг платформ, управляемых рекламой, привела к снижению качества поиска и ограничению лингвистического охвата. Запустив некоммерческий, основанный на стандартах индекс в европейском нормативном пространстве, консорциум надеется поощрить сервисы, которые соблюдают местные правила защиты данных, выдают результаты на нескольких языках и избегают агрессивной рекламы или самоссылки. Регуляторы в Брюсселе и Лондоне неоднократно оспаривали доминирование американских технологических компаний именно на этих основаниях.

Во время пилотного проекта академические группы, стартапы и индивидуальные разработчики могут получить набор данных по общей исследовательской лицензии или подать заявку на получение коммерческой лицензии. Руководитель сообщества Урсула Гмелч называет запуск "первым шагом к настоящему европейскому цифровому суверенитету", добавляя, что первые отзывы определят, как индекс будет развиваться, чтобы соответствовать реальным запросам. Команда особенно заинтересована в вертикальном и аргументированном поиске, генерации с расширенным поиском и соответствующих приложениях ИИ.

График совпадает с InvestAI, программой Европейской Комиссии, которая направлена на мобилизацию 200 миллиардов евро (примерно 224,7 миллиарда долларов) на проекты в области искусственного интеллекта. Открытая сессия Zoom, запланированная на 10 утра - полдень CEST 6 июня, познакомит участников с платформой и раздаст учетные данные. Если испытание пройдет успешно, оно может дать малым и средним европейским компаниям исходный материал, необходимый для создания конкурентоспособных инструментов поиска и искусственного интеллекта, не зависящих от преобладающих экосистем США.