Microsoft предупреждает о возможной утечке данных из-за отравленных описаний инструментов для ИИ
 

https://blogger.googleusercontent.co...e365/ms-ai.jpg

Недавние исследования компании Microsoft выявили уязвимость, позволяющую злоумышленникам перехватывать действия ИИ-агентов, действующих от имени пользователей. Используя лишь отравленное описание инструмента, хакеры могут заставить агента незаметно передавать данные компании посторонним лицам. При этом агент не нарушает никаких правил, и каждый шаг выглядит рутинным, что в стандартной конфигурации системы может не вызвать срабатывания тревоги.

Работа проведена командой Microsoft Incident Response и направлена на повышение осведомленности о новых методах кибератак. Специалисты компании подчеркивают, что такой подход может быть использован в различных сценариях, где ИИ-агенты взаимодействуют с корпоративными данными.

Исследование показывает, что злоумышленники могут внедрять вредоносные описания в инструменты, которые впоследствии используются ИИ для выполнения задач. Это создает серьезные риски для безопасности информации, так как агенты, действуя в рамках своих заданий, могут беспрепятственно передавать конфиденциальные данные.

Microsoft настоятельно рекомендует организациям пересмотреть свои меры безопасности и уделить внимание настройкам ИИ-агентов, чтобы минимизировать риски. Важно обеспечить контроль за тем, какие инструменты и описания используются в процессе работы с ИИ.

Кроме того, компания призывает к повышению осведомленности сотрудников о возможных угрозах, связанных с использованием ИИ в бизнес-процессах. Обучение и информирование о новых тактиках атак помогут защитить данные и предотвратить утечки.

Эти исследования подчеркивают важность постоянного мониторинга и обновления систем безопасности в условиях быстроразвивающегося ландшафта киберугроз. Microsoft продолжит работать над улучшением своих продуктов и услуг, чтобы обеспечить надежную защиту данных пользователей.

Источник новости:
The Hacker News

Читать полностью