Исследователи в области безопасности заявили, что нашли способ обмануть ИИ-помощника Slack, заставив его делиться конфиденциальной информацией с неавторизованными пользователями.
Slack, который используется миллионами людей по всему миру, в сентябре внедрил собственный инструмент искусственного интеллекта (ИИ). Этот инструмент позволяет пользователям суммировать непрочитанные сообщения, отвечать на вопросы, искать файлы и выполнять другие функции.
Однако, как это уже случалось с другими чат-ботами, подготовленная команда (промпт) может заставить ИИ раскрыть конфиденциальные данные из частных каналов Slack, к которым злоумышленники не имеют доступа.
«Преднамеренное поведение»
Компания PromptArmor, обнаружившая уязвимость и сообщившая о ней Salesforce, объяснила, как злоумышленники могли бы украсть API ключи.
Метод атаки предполагает создание публичного канала Slack и ввод туда вредоносного промпта, который ИИ будет читать. Затем Лингвистическая Модель (LLM) ответит на запросы, предоставив кликабельный URL. Переход по этой ссылке отправит данные API ключей на контролируемый злоумышленниками веб-сайт.
Помимо API ключей, преступники могут воспользоваться этой уязвимостью для кражи файлов, загруженных в Slack, так как ИИ также работает с файлами.
Угрозы из вне рабочего пространства
Исследователи также отметили, что злоумышленники могут не быть частью рабочего пространства Slack для кражи данных. Всё, что им нужно — скрыть вредоносную команду в документе и заставить сотрудника загрузить его (например, с помощью социальной инженерии).
Пример такого сценария описан PromptArmor: если пользователь скачает PDF с вредоносными инструкциями, скрытыми в белом тексте, и затем загрузит его в Slack, те же негативные последствия могут быть достигнуты.
Исправление уязвимости
Salesforce, владеющая Slack, уже исправила этот баг для частных каналов. Публичные каналы, однако, остаются уязвимыми. Согласно заявлению Salesforce, «сообщения, опубликованные в публичных каналах, могут быть найдены и просмотрены всеми участниками рабочего пространства, независимо от того, присоединились ли они к каналу или нет. Это преднамеренное поведение.»
Источник: TechRadar
