Результаты исследования: Пользователи - настоящая причина галлюцинаций ИИ

Выдуманные факты, придуманные цитаты или источники, которые кажутся полностью сфабрикованными - ИИ может быть невероятно полезным, но он все же несет в себе риск галлюцинаций. По мнению исследователей OpenAI, одним из ключевых факторов является простой механизм вознаграждения, который поощряет ИИ делать предположения. Исследование, проведенное на сайте https://www.arxiv.org/pdf/2510.02645 опубликованное 3 октября на сайте arXiv.org также предполагает, что сами пользователи могут играть определенную роль в провоцировании этих галлюцинаций.

Исследование под названием "Mind the Gap: Linguistic Divergence and Adaptation Strategies in Human-LLM Assistant vs. Human-Human Interactions" предполагает, что многие так называемые галлюцинации ИИ могут возникать из-за того, как общаются пользователи. Исследователи проанализировали более 13 000 разговоров между людьми и 1 357 реальных взаимодействий между людьми и ИИ-чатботами. Результаты показали, что пользователи, как правило, пишут совсем по-другому, когда разговаривают с ИИ - сообщения короче, менее грамматичны, менее вежливы и используют более ограниченный словарный запас. Эти различия могут влиять на то, насколько четко и уверенно отвечают языковые модели.

Анализ был сосредоточен на шести лингвистических аспектах, включая грамматику, вежливость, словарный запас и содержание информации. Хотя грамматика и вежливость были более чем на 5% и 14% выше в разговорах между людьми, фактическая передаваемая информация оставалась практически одинаковой. Другими словами, пользователи делятся с ИИ тем же содержанием - но в заметно более жестком тоне.

Исследователи называют это "сменой стиля" Поскольку большие языковые модели, такие как ChatGPT или Claude, обучаются на хорошо структурированной и вежливой речи, внезапное изменение тона или стиля может привести к неправильному толкованию или выдумыванию деталей. Другими словами, ИИ с большей вероятностью может вызвать галлюцинации, если они получают непонятные, невежливые или плохо написанные данные.

Возможные решения как со стороны ИИ, так и со стороны пользователя

Если модели ИИ обучить работать с более широким диапазоном языковых стилей, их способность понимать намерения пользователя улучшится - по крайней мере, на 3%, согласно исследованию. Исследователи также протестировали второй подход: автоматическое перефразирование пользовательского ввода в режиме реального времени. Однако это несколько снизило производительность, поскольку эмоциональные и контекстуальные нюансы часто терялись. В результате авторы рекомендуют сделать обучение с учетом стиля новым стандартом в тонкой настройке ИИ.

Если Вы хотите, чтобы Ваш ИИ-помощник выдавал меньше выдуманных ответов, авторы исследования советуют относиться к нему как к человеку - писать полными предложениями, использовать правильную грамматику, поддерживать четкий стиль и вежливый тон.