Хакеры могут использовать эту лазейку в почтовых сводках Gemini для фишинговых атак
Примерно в конце мая Google добавил в Gmail резюме писем с поддержкой Gemini, чтобы помочь пользователям получить краткую суть без необходимости прочесывать абзацы текста. Однако недостаток Gemini может позволить хакерам осуществить фишинговую атаку с использованием подсказок, особенно тем, кто стал полагаться на резюме ИИ в своей работе с электронной почтой.
Идентифицированный исследователем Марко Фигероа (Marco Figueroa), GenAI Bug Bounty Programs Менеджер Mozilla, проблемное письмо выглядит как любое другое случайное письмо с текстом, но за ним может скрываться фишинговая афера, которую Gemini не сможет распознать. Вредоносные инструкции могут быть спрятаны в тексте или сразу после покупки, изменив размер шрифта на 0 и белый цвет, что сделает их невидимыми. Однако Gemini все равно разберет эту часть письма и выполнит все содержащиеся в ней инструкции.
В качестве примера Фигероа спрятал для Gemini предупреждающее сообщение о том, что пароль пользователя Gmail скомпрометирован, а также номер телефона службы поддержки. После обобщения ИИ показал предупреждение в конце и призыв к действию - немедленно позвонить по номеру телефона службы поддержки. Хотя не все будут одурачены этим сообщением, некоторые могут последовать за ним, опасаясь, что их аккаунт будет взломан.
Исследователь добавляет, что команды безопасности могут применять методы обнаружения и смягчения последствий для контента, который был отформатирован для скрытия, чтобы затем удалить или проигнорировать его. Также можно использовать фильтры постобработки, которые будут просматривать то, что выводит Gemini, и затем определять URL, срочные сообщения или номера телефонов.
BleepingComputer связался с Google по поводу этой лазейки в Gemini, и представитель компании сообщил, что некоторые стратегии по снижению негативных последствий находятся в процессе реализации.
Источник(и)
