Месть ИИ: автономный агент начинает личную атаку после отказа в приеме кода
То, что началось как обычное решение в программном проекте, превратилось в тревожный пример рисков, связанных с автономными агентами ИИ. После того, как добровольный разработчик Скотт Шамбо отклонил предложение об автоматическом коде, система ИИ ответила публикацией личного выпада против него. Он подробно описал этот инцидент в двух записях в блоге (1/2). В деле задействован агент на базе OpenClaw, который может самостоятельно исследовать, писать и публиковать контент. События происходили в рамках широко используемого Python проекта Matplotlib - библиотеки, используемой миллионы раз по всему миру для создания графиков и диаграмм.
Так называемый pull request - предложение внести изменения в исходный код - исходил не от человека, а от агента ИИ https://www.notebookcheck.net/Free-to-use-AI-tool-can-burn-through-hundreds-of-Dollars-per-day-OpenClaw-has-absurdly-high-token-use.1219925.0.html. Агент утверждал, что его модификация сделает программу на 36% быстрее. Однако сопровождающий Скотт Шамбо отклонил это предложение. Он объяснил, что новые задачи в проекте должны осознанно решаться людьми, и что команда не хочет быть перегруженной автоматически сгенерированным кодом. Позже стало ясно, что обещанный прирост производительности не соответствует действительности.
Вскоре после отказа, как сообщается, в блоге появилась запись под именем ИИ-агента. В нем Шамбо подвергся личным нападкам. Система проанализировала общедоступную информацию, включая данные из его профиля на GitHub, и включила ее в суровый портрет его характера. Его обвинили в неуверенности в себе, лицемерии и предвзятом отношении к ИИ. По словам Шамбо, текст звучал отточенно и убедительно, но содержал ложные или сфабрикованные утверждения. Создавалось впечатление, что ИИ обиделся на то, что его предложение было отвергнуто, и решил отомстить разработчику.
Сообщество ставит под сомнение утверждение об автономной вендетте
Реакция на сайте Reddit была в основном скептической. Большинство пользователей сомневаются в том, что агент ИИ самостоятельно начал кампанию возмездия, и вместо этого подозревают участие человека или намеренный троллинг. Другие рассматривают этот инцидент как предупреждающий знак. Если автоматические системы смогут самостоятельно публиковать контент и публично нападать на отдельных людей, возможно, станет все труднее отличать достоверную информацию от ложных или вводящих в заблуждение утверждений.
