Компания Anthropic зафиксировала, что учёные обращались к системе Claude за помощью в исследованиях в области биологического оружия

Компания Anthropic, разработчик искусственного интеллекта Claude AI, недавно выявила и заблокировала нескольких учёных, пытавшихся использовать её модели искусственного интеллекта для потенциальной разработки биологического оружия. В новом отчёте об угрозах, опубликованном компанией, подробно описаны масштабные случаи неправомерного использования её платформы Claude AI. В ходе расследования выделено пять конкретных примеров, связанных с деятельностью действующих учёных, занимающихся изучением крайне опасных патогенов. Выявление подобных случаев неправомерного использования по-прежнему представляет собой сложную задачу, поскольку легитимные биомедицинские исследования зачастую очень близко повторяют процессы разработки биологического оружия.

В одном из примечательных случаев, произошедшем в мае, внутренний классификатор биологической безопасности компании Anthropic перехватил запрос на составление заявки на грант для проведения исследований по усилению функциональности вируса чикунгунья. Этот патоген, переносимый комарами, вызывает изнурительные симптомы, и в настоящее время для него не существует одобренного лечения. Предлагаемое исследование было направлено на повышение передаваемости вируса и его способности уклоняться от иммунного ответа.

Связь данного исследования с военным институтом сразу же усилила обеспокоенность компании. Компания Anthropic также пресекла отдельную попытку проведения исследований по усилению патогенности птичьего гриппа, направленных на адаптацию патогена для более легкого распространения среди млекопитающих. Ещё один перехваченный запрос касался исследователя, использовавшего модель Claude для картирования пептидов яда и оптимизации их характеристик.

В ответ компания Anthropic навсегда заблокировала учётные записи, связанные с этими действиями. Компания использовала полученные данные для усиления своих мер безопасности, направленных на предотвращение злоупотреблений в будущем. В отчёте подчеркивается, что новейшие модели демонстрируют всё более высокую компетентность в решении сложных научных задач.

Эта способность делает их чрезвычайно привлекательными целями для субъектов, ищущих настоящего научного помощника в области сложной биологической инженерии. Компания Anthropic приняла решение сохранить анонимность личностей и научных учреждений вовлечённых учёных. Компания заявила, что раскрытие личностей этих специалистов может подвергнуть их физической опасности, отметив при этом, что исследователи, возможно, не имели явного намерения причинить вред.