Microsoft создала команду red-team для оценки угроз ИИ.
— Microsoft организовала команду red-team в 2018 году для оценки роста рисков, связанных с искусственным интеллектом.
— Red team выполняет роль «противника», принимая образ воображаемого злоумышленника для поиска уязвимостей.
— Последний отчет команды нацелен на выявление общих уязвимостей в системах искусственного интеллекта и LLMs.
На протяжении семи лет Microsoft активно занимается оценкой рисков в системах искусственного интеллекта через специализированную команду red-team.
Эта команда была создана для предвидения и предотвращения возникающих угроз, связанных с развитыми системами ИИ. Они принимают на себя роль потенциальных злоумышленников, чтобы выявить уязвимости до их использования в реальности.
Недавно Microsoft опубликовала отчет, в котором изложены ключевые выводы команды за годы её работы.
Основные выводы whitepaper от Microsoft
С течением времени фокус деятельности red-team компании Microsoft расширился, чтобы охватить не только традиционные, но и новые, уникальные риски в области ИИ, включая продукты компании, такие как Copilot, и открытые модели искусственного интеллекта.
В отчете подчеркивается важность совмещения человеческого опыта с автоматизацией для эффективного выявления и снижения рисков.
Один из ключевых уроков заключается в том, что интеграция генеративного ИИ в современные приложения не только расширила поверхность для кибератак, но и принесла уникальные вызовы.
Методы, такие как «внедрение подсказок», используют неспособность моделей различать системные инструкции и пользовательские вводы, что позволяет злоумышленникам манипулировать результатами.
Тем временем, традиционные риски, такие как устаревшие программные зависимости или некорректная инженерия безопасности, остаются значительными, и Microsoft считает, что человеческий опыт незаменим в их противодействии.
Команда обнаружила, что для эффективной оценки рисков автоматизации часто требуются эксперты, способные оценивать контент в специализированных областях, таких как медицина или кибербезопасность.
Кроме того, было подчеркнуто значение культурной компетенции и эмоционального интеллекта как важнейших навыков в сфере кибербезопасности.
Microsoft также отметила необходимость в постоянных тестах, обновлении практик и «break-fix»-циклах — процессе идентификации уязвимостей и реализации исправлений с дополнительным тестированием.
Источник: TechRadar
