Исследователи в области кибербезопасности выявили новую атаку под названием MemGhost, которая позволяет злоумышленникам внедрять ложные воспоминания в ИИ-ассистентов, используя всего лишь одно электронное письмо. Данная уязвимость открывает возможности для манипуляции информацией, которую ИИ хранит о пользователе, что может привести к серьезным последствиям.

Когда ИИ-ассистент получает доступ к почтовому ящику пользователя и сохраняет информацию о нем, злоумышленник может отправить письмо, содержащее ложный факт. Этот факт будет сохранен в памяти ИИ, при этом изменения останутся незаметными для пользователя. В результате, когда человек получит ответ от ассистента, он будет выглядеть вполне обычным, и пользователь никогда не узнает о вмешательстве.

Атака MemGhost ставит под угрозу доверие пользователей к ИИ-технологиям, так как они могут полагаться на информацию, которая была подделана без их ведома. Это создает риски не только для частных пользователей, но и для организаций, использующих ИИ-ассистентов в бизнес-процессах.

Эксперты рекомендуют пользователям быть особенно внимательными к содержимому своих электронных писем и обращать внимание на любые необычные ответы со стороны ИИ. Также важно регулярно проверять настройки конфиденциальности и доступ к личной информации, чтобы уменьшить риск подобных атак.

Разработчики ИИ-ассистентов также должны обратить внимание на эту уязвимость и внедрить механизмы защиты, которые помогут предотвратить подобные манипуляции. Важно создать более прозрачные системы, которые позволят пользователям видеть, как и какую информацию ИИ хранит о них.

Источник новости:
The Hacker News

Читать полностью