От данных к галлюцинациям: Как на самом деле происходят галлюцинации ИИ

Что такое галлюцинация? Во всяком случае, с точки зрения ИИ

Итак, дело обстоит следующим образом. Вы спрашиваете своего чатбота о чем-то. Он дает Вам ответ, который звучит умно, использует все правильные слова, даже вставляет пару цитат. Затем Вы смотрите на него, а он оказывается полной выдумкой.

Добро пожаловать в удивительный мир галлюцинаций ИИ.

Это не ошибка. Это не Ваша ошибка. И нет, ИИ не "пытается лгать" Он просто... делает то, для чего был создан: соединяет слова, которые по статистике выглядят так, будто они находятся рядом друг с другом. Вот и все.

Это не "мышление" Это игра в безумный ликбез.

Эти языковые модели - ChatGPT, Claude, Gemini, все они - не понимают фактов. Они ничего не знают. Они прочитали миллиарды слов и теперь играют в эту бесконечную игру автозаполнения. Это действительно все, что они делают.

Что же происходит, когда в том, что они "видели" во время обучения, возникает пробел? Они угадывают. Иногда дико. Но всегда уверенно.

Вот как на самом деле происходит эта неразбериха под капотом

Большие языковые модели (LLM) обучаются на огромных объемах текста - представьте себе книги, веб-сайты, разглагольствования на Reddit, научные журналы - все это смешивается в блендере. Модель не "запоминает" эту информацию так, как это делаем мы. Вместо этого она изучает закономерности: какие слова следуют за другими словами, какие понятия часто встречаются вместе, какие структуры предложений выглядят "правильными" и так далее.

Когда Вы вводите подсказку, модель начинает предсказывать, по одному токену (фрагменту слова) за раз. Она не планирует абзац и не проверяет, соответствует ли сказанное фактам. Она пытается составить статистически вероятный ответ... никакого осознания, никакой проверки, никакой совести.

Теперь, если обучающие данные не охватывают Ваш вопрос должным образом - или охватывают, но модель не совсем "помнит" его - ситуация становится сложной. Она может начать делать выводы об ответе, основываясь на схожих по звучанию вещах. Думайте об этом как об автозаполнении на стероидах, только с изобретением связей.

Пример? Если Вы спрашиваете о судебном деле, которое звучит знакомо, модель может смешать детали из похожих дел, которые она видела во время обучения. Внезапно Вы получаете решение несуществующего судьи о законе, который никогда не был принят.

Проблема? Он не знает, что это неправильно. Он не был создан для того, чтобы знать. Оно было создано, чтобы догадываться.

Некоторые распространенные способы, с помощью которых это сходит с рельсов:

• Недостаточно данных по теме → ИИ заполняет пробелы ерундой.
• Вы задаете ему неясный или сложный вопрос → он придумывает чисто звучащий ответ, чтобы выглядеть полезным.
• Он хочет казаться умным → поэтому подражает тому, как пишут умные люди, даже если сам все придумывает.
• Он видел миллион цитат → поэтому он прекрасно форматирует поддельные цитаты.

Это не гипотеза - люди обжигались

Вероятно, Вы уже видели это в действии. Но если нет, то вот как это выглядит:

• Поддельные академические исследования: Выглядят как настоящие. Имеет авторов, название, журнал. Не существует.
• Воображаемые судебные дела: Настоящие юристы подавали такие документы в суд. Судьи были... не в восторге.
• Выдуманные медицинские советы: Бот может сказать Вам, что капуста взаимодействует с ибупрофеном. Это не так. (Возможно.)

И да, люди верят в это. Потому что это звучит правильно. В этом и заключается ловушка.

Она может даже одурманить Вас

И вот что самое интересное: если Вы будете отнекиваться? Спросите его: "Ты уверен?" ИИ может удвоить ответ. Перефразируйте ложь. Смягчите ее. Ссылаться на другой фальшивый источник. Он не злонамерен, он буквально просто не знает, что лучше. Он думает: "О, Вам нужна более благозвучная версия той последней галлюцинации? Больше ничего не говори"

Добро пожаловать на парад газового света, теперь с цитатами.

Что с этим делается (кроме рукоплесканий)

Если честно, разработчики пытаются это исправить. Никто не хочет, чтобы их инструмент был известен тем, что уверенно произносит ложь. Вот что делается:

1. Обучение с помощью человека в контуре (RLHF)
По сути: реальные люди дают отзывы на ответы ИИ, оценивая их, как плохие отзывы на Yelp. Помогает, вроде как.

2. Позволяя ИИ "искать информацию" (RAG)
Вместо того чтобы полагаться только на память, некоторые модели теперь черпают данные из Википедии или баз знаний. Это все равно что дать стажеру доступ в Интернет, вместо того чтобы позволить ему угадывать.

3. Дополнения для проверки фактов
Некоторые платформы подключают средства проверки фактов или отказываются отвечать, если ИИ не уверен. Это новая технология, которая пока еще не получила широкого распространения.

4. Более умные подсказки = меньше BS
Если Вы зададите четкий, конкретный вопрос, у Вас будет меньше шансов получить театр импровизации ИИ. Пример: "Назовите мне пять рецензируемых источников о пользе драконьего фрукта" лучше, чем "Полезен ли драконий фрукт?"

5. Фильтры уверенности
Некоторые ИИ теперь будут говорить "Я не уверен в этом" вместо того, чтобы что-то выдумывать. Что, честно говоря, радует.

Почему это не просто забавная причуда

Эти вещи имеют значение. Галлюцинация в обычном разговоре - это неважно. Но в суде? В редакции новостей? В больнице? Это просто ужас.

Представьте себе студента, которого обвиняют в плагиате, потому что ИИ придумал источник. Или пациент получает плохой совет. Или бизнес-решение, принятое на основе статистики, которую бот взял из воздуха.

Эти модели уже встраиваются в поисковые системы и бизнес-инструменты. Риск уже здесь.

Заключительное слово

Послушайте, ИИ - это потрясающе. Он может помочь Вам провести мозговой штурм, обобщить, переписать, перевести... как угодно. Но никогда не забывайте, что он не знает, что говорит. Он просто хочет звучать убедительно.

Если Вы не стали бы доверять разговорчивому незнакомцу в баре, который "что-то когда-то читал", не доверяйте слепо и своему чатботу.

Используйте его. Но проверяйте все факты. Всегда.

Потому что когда он ошибется, он не будет колебаться. Он просто покажет смеющийся Emoji и продолжит говорить.