Некоторые ведущие лаборатории в области искусственного интеллекта в мире демонстрируют недостаточное внимание к мерам безопасности. Согласно новому исследованию, наихудшая ситуация наблюдается в компании xAI, принадлежащей Илону Маску.
Французская некоммерческая организация SaferAI в среду представила первые рейтинги, оценивающие практики управления рисками в ведущих AI-компаниях. Основатель SaferAI Симэон Кампос пояснил, что цель рейтингов заключается в создании чётких стандартов для подхода компаний к управлению рисками, поскольку их системы становятся всё более мощными и широко используемыми. Уже известно, что AI-системы способны анонимно взламывать веб-сайты или помогать в разработке биологического оружия. Правительства пока медленно реагируют на необходимость создания регулирования: например, губернатор Калифорнии Гэвин Ньюсом недавно наложил вето на законопроект о регулировании AI-индустрии в штате.
Кампос отметил, что AI-технологии развиваются крайне быстро, однако управление рисками не успевает за ними. «Наши рейтинги призваны заполнить этот пробел до тех пор, пока правительства сами не начнут проводить соответствующие оценки», — заявил он.
Для оценки каждой компании исследователи SaferAI анализировали «red teaming» моделей — технические усилия по обнаружению уязвимостей и недостатков, а также стратегии компаний по устранению угроз и снижению рисков.
Из шести оценённых компаний xAI получила наихудший результат с оценкой 0 из 5. Компании Meta и Mistral AI также были признаны как имеющие «очень слабое» управление рисками. OpenAI и Google Deepmind получили оценки «слабое», а Anthropic заняла лидирующую позицию с оценкой 2,2 из 5.
xAI получила минимальную оценку из-за того, что практически не публиковала данных о мерах управления рисками. Кампос выразил надежду, что компания уделит этому больше внимания, поскольку её модель Grok 2 теперь конкурирует с Chat-GPT и другими системами. «Я надеюсь, что это временно: что в течение следующих шести месяцев они опубликуют что-то, и тогда мы сможем обновить их оценку», — отметил он.
Кампос подчеркнул, что рейтинги могут оказать давление на компании с целью улучшения их внутренних процессов. Это потенциально поможет уменьшить предвзятость моделей, сдержать распространение дезинформации и снизить вероятность их злоупотребления злыми намерениями. Он также надеется, что компании применят некоторые из тех же принципов, которые используют отрасли с высокими рисками, такие как ядерная энергетика, биобезопасность и безопасность в авиации. «Несмотря на то что эти отрасли имеют дело с совершенно разными объектами, у них схожие принципы и структуры управления рисками», — сказал он.
Рейтинговая система SaferAI была разработана с учётом мировых стандартов в области AI, включая стандарты, установленные AI-законом ЕС и процессом Хиросимы G7. SaferAI является частью Консорциума по безопасности искусственного интеллекта США, созданного Белым домом в феврале. Организация получает финансирование преимущественно от некоммерческого технического фонда Founders Pledge и инвестора Яана Таллина.
Йошуа Бенджио, один из уважаемых экспертов в области AI, приветствовал систему рейтингов, выразив надежду, что она поможет «гарантировать безопасность моделей, разрабатываемых и внедряемых компаниями… Мы не можем позволить им самим оценивать своё собственное «домашнее задание»».
Примечание, 2 октября: В оригинальной версии этой истории неправильно указано, как SaferAI осуществляла оценку компаний. Исследователи анализировали процедуры «red teaming» моделей, а не проводили собственные испытания.
Источник: Time
