Недавние исследования компании Xint выявили уязвимость в функции сжатия OpenAI, которая предназначена для уменьшения объема длинных бесед с целью экономии пространства. Данная уязвимость может быть использована для извлечения скрытого reasoning модели в открытом виде. Модели reasoning от OpenAI работают над решением задачи, прежде чем предоставить ответ, и обычно возвращают только зашифрованный элемент reasoning, который пользователи не могут прочитать.

Исследователи Xint продемонстрировали, что с помощью функции сжатия можно обойти эти меры безопасности и получить доступ к внутреннему процессу reasoning модели. Это открывает новые возможности для злоумышленников, которые могут попытаться извлечь конфиденциальную информацию или использовать полученные данные в своих интересах.

OpenAI, в свою очередь, осведомлена о данной проблеме и, вероятно, будет работать над исправлением уязвимости. Однако это открытие поднимает вопросы о безопасности и надежности подобных систем, которые все чаще применяются в различных областях, начиная от обслуживания клиентов и заканчивая сложными научными исследованиями.

Эксперты по кибербезопасности призывают пользователей и организации, использующие технологии OpenAI, быть особенно внимательными к безопасности своих данных и рассмотреть возможность дополнительных мер защиты.

В свете этой ситуации также возникает необходимость в более строгих проверках и тестировании таких систем перед их внедрением в практику. Это поможет предотвратить возможные утечки информации и повысить уровень доверия к технологиям искусственного интеллекта.

Источник новости:
The Hacker News

Читать полностью