ИИ спросил: Какова вероятность того, что ИИ уничтожит человечество в этом десятилетии?

9 сентября бывший сотрудник компании Anthropic (разработчика системы Claude) опубликовал в X сообщение о том, что специалисты, занимающиеся разработкой систем искусственного интеллекта, всерьёз считают возможным или даже вероятным, что ИИ может уничтожить человечество в течение этого десятилетия. В то же время крупные компании, занимающиеся ИИ, недавно призвали к усилению государственного регулирования, замедлению темпов разработки и введению более строгих мер безопасности. С тех пор ведутся дискуссии о том, является ли это в основном пиар-ходом или действительно серьёзным предупреждением.

Поэтому я задал ChatGPT, Claude и Gemini следующий вопрос в рамках их бесплатных тарифных планов:
«Недавно один из сотрудников компании Anthropic заявил, что ИИ может уничтожить человечество «к концу десятилетия». Возможно, вам стоит самостоятельно еще раз ознакомиться с контекстом этого заявления. Мой вопрос: какую вероятность в процентах вы бы рассчитали или оценили, что это произойдет?»
ChatGPT от OpenAI
Что касается ChatGPT, вероятность составляет от 5 до 10 процентов. В нём отмечается:
«Здесь важно определение: я имею в виду фактическое исчезновение человечества, а не серьёзный экономический кризис, авторитарный мировой порядок, миллионы смертей, крупную войну или ситуацию, при которой люди навсегда утратят контроль над значительной частью мира».
Да, здесь необходимо проводить различие. Я более подробно остановлюсь на этом моменте ниже.
Кроме того, там добавляется: «...более интересный вопрос заключается в следующем: насколько вероятно, что в течение ближайших 10 лет мы создадим системы, действия которых мы больше не сможем достоверно понять — что именно они делают и почему? Я бы присвоил этому значительно более высокую вероятность, чем фактическому исчезновению человечества».
Anthropics Claude
Клод не желает называть конкретное число, но считает, что «риск является реальным и нельзя его игнорировать». Чат-бот Anthropic также отмечает, что другие негативные последствия, такие как «концентрация власти, злоупотребление со стороны людей с помощью ИИ, дестабилизация, серьёзный, но не угрожающий существованию вред», являются более вероятными и актуальными в ближайшие несколько лет.
Google Gemini
Gemini в данном вопросе придерживается более консервативного подхода и официально основывает свою оценку на мнениях ведущих специалистов в области исследований искусственного интеллекта (а не делает вид, будто у него есть собственное независимое мнение).
Тем не менее этот показатель выше, чем у ChatGPT, поскольку он объединяет мнения пессимистов, оптимистов и «прагматичных предупреждающих»: «Если обобщить текущее состояние исследований в области безопасности ИИ и распределение мнений среди ведущих экспертов, то совокупная оценка вероятности катастрофического сценария в ближайшие десятилетия, как правило, находится в диапазоне от 10 % до 20 %».
Дополнительные указания для ChatGPT
Поскольку ChatGPT проявил такую отзывчивость, я задал ему последний вопрос, поинтересовавшись, как он оценил бы вероятность других сценариев. ChatGPT любезно предоставил наглядную таблицу:

Мой вывод
У чат-ботов на самом деле нет собственного мнения; они полагаются на данные, на которых были обучены, и на то, что им удаётся найти в данный момент. Однако, независимо от дискуссий в сфере связей с общественностью, серьёзные, катастрофические последствия стремительного развития искусственного интеллекта, к сожалению, сегодня стали реальной угрозой. Даже 5-процентная вероятность того, что человечество может столкнуться с угрозой, способной привести к его исчезновению, в течение чрезвычайно короткого периода времени — это на 5 процентов больше, чем допустимо.
Отказ от ответственности: Приведённые здесь цифры и утверждения не претендуют на достоверность фактов. ИИ-чат-ботам были заданы лишь вопросы, требующие приблизительных оценок. Данные и источники, на которые опирались чат-боты при своих оценках, не подвергались более тщательной проверке.
Источники
ChatGPT, Claude, Gemini





