Исследование показывает, что чат-боты с искусственным интеллектом предоставляют менее точную информацию уязвимым пользователям

Большие языковые модели широко пропагандируются как революционные инструменты, способные демократизировать глобальный доступ к информации. Однако новое исследование Центра конструктивного общения Массачусетского технологического института показывает, что эти системы искусственного интеллекта систематически оказываются недостаточно эффективными для уязвимых слоев населения, которые могли бы извлечь из них наибольшую пользу.

В исследовании, представленном на конференции AAAI по искусственному интеллекту, изучались самые современные чат-боты, включая GPT-4 от OpenAI, Claude 3 Opus от Anthropic и Llama 3 от Meta. Исследователи протестировали модели, используя наборы данных TruthfulQA и SciQ для измерения точности и правдивости фактов, при этом добавляя биографии пользователей, которые различались по уровню образования, знанию английского языка и стране происхождения. Результаты продемонстрировали значительное снижение точности для пользователей с меньшим уровнем формального образования или более низким уровнем владения английским языком. Эти негативные эффекты сильно усугублялись для пользователей, находящихся на пересечении обеих категорий.

Исследование также выявило тревожные различия в том, как модели обрабатывают запросы. Например, Claude 3 Opus отказалась отвечать почти на 11% вопросов менее образованных пользователей, не являющихся носителями английского языка, по сравнению с 3,6% для контрольных пользователей. Во многих случаях модель отвечала снисходительным, покровительственным или издевательским языком, иногда имитируя неполный английский. Модели также отказывали в предоставлении фактической информации по таким темам, как ядерная энергетика и исторические события, особенно малообразованным пользователям из таких стран, как Иран или Россия, несмотря на то, что они правильно отвечали на идентичные запросы для других демографических профилей.

Исследователи предупреждают, что по мере того, как функции персонализации становятся все более распространенными, эти присущие им социально-когнитивные предубеждения рискуют усугубить существующее информационное неравенство, незаметно распространяя вредное поведение и дезинформацию среди тех, кто меньше всего способен их распознать.