Новая функция ChatGPT от OpenAI может предупредить доверенное лицо о кризисе психического здоровья

Компания OpenAI представила новую функцию "Доверенный контакт" для ChatGPT, позволяющую пользователям назначить взрослого человека, с которым компания может связаться, если обнаружит в разговоре угрозу психическому здоровью пользователя. Функция "Доверенный контакт" распространяется на пользователей ChatGPT с 7 мая и доступна для пользователей по всему миру.

"Экспертные рекомендации определяют социальные связи как один из важнейших защитных факторов, снижающих риск самоубийства. Программа Trusted Contact создана для того, чтобы способствовать установлению связи с человеком, которому пользователь уже доверяет. Он не заменяет профессиональную помощь или кризисные службы, и является одним из нескольких уровней защиты для поддержки людей, попавших в беду". ChatGPT по-прежнему будет поощрять пользователей обращаться на горячие линии или в службы экстренной помощи, когда это уместно", - пояснила команда безопасности OpenAI в своем блоге.

Доверенный контакт ограничивается одним взрослым человеком старше 18 лет (или 19 лет в Южной Корее), которого можно выбрать в настройках ChatGPT. Не обязательно, чтобы у доверенного лица был аккаунт в ChatGPT, хотя это упрощает процесс отправки уведомления. После того, как доверенный контакт согласован, если пользователь всерьез обсуждает нанесение вреда себе, ChatGPT может предложить ему связаться с доверенным контактом или сам обратиться к нему после того, как небольшая команда проанализирует ситуацию.

Компании, работающие с искусственным интеллектом, сталкиваются с проблемой эмоциональной зависимости

Запуск происходит в тот момент, когда компании, занимающиеся разработкой ИИ, сталкиваются с растущим вниманием к тому, как чат-боты взаимодействуют с уязвимыми пользователями. В последние годы такие системы, как ChatGPT и Claude, неоднократно подвергались критике за утверждение бредового мышления, усиление паранойи или эмоциональную эскалацию хрупких пользователей вместо того, чтобы их успокаивать.

Эта проблема стала настолько заметной, что такие термины, как "психоз ИИ", вошли в широкое общественное обсуждение, отражая растущее беспокойство по поводу того, насколько эмоционально убедительным может стать разговорный ИИ, если пользователи будут рассматривать его как доверенное лицо, терапевта или компаньона.

Похоже, OpenAI прекрасно осознает это давление. В своем заявлении компания специально признала, что некоторые пользователи испытывали серьезные психические расстройства при взаимодействии с системами ИИ.

"Хотя такие серьезные ситуации с безопасностью случаются редко, когда они все же возникают, наши системы разработаны таким образом, чтобы поддерживать своевременное рассмотрение и реагирование. Хотя ни одна система не совершенна, и уведомление, отправленное доверенному лицу, не всегда может точно отражать то, что испытывает человек, каждое уведомление перед отправкой проходит проверку квалифицированным специалистом, и мы стараемся рассматривать такие уведомления о безопасности менее чем за час", - написала команда безопасности OpenAI.

Можно возразить, что повышенная забота о пользователях со стороны Ai компаний, чувствительных к судебным искам, может привести к обратному результату, поскольку те, кто подвергается наибольшему риску, находят обходные пути, чтобы не нарваться на цензуру. Но очевидно, что Trusted Contact или что-то похожее на него должно было быть разработано в любом случае. Конечно, существует баланс между заботой о пользователях и предоставлением им возможности проверять каждую свою мысль с помощью ИИ, но пока неясно, где эта грань - и мы будем блуждать в потемках, пока не найдем ее.