Эксперты предупреждают, что Generative AI может создавать названия пакетов open-source с ошибками
Потенциальные угрозы нейросетевого генерации
Исследователи в сфере безопасности указывают на новый способ, которым Generative AI (GenAI) может быть использован для киберпреступлений, известный как ‘slopsquatting’.
Основой этой угрозы является способность различных инструментов GenAI, таких как Chat-GPT и Copilot, к так называемым «галлюцинациям». В контексте искусственного интеллекта под «галлюцинацией» понимается создание нейросетями недостоверной информации: они могут выдумывать цитаты, события или пакеты программного обеспечения, которые на самом деле не существуют.
Опасные измышления в программной сфере
Сара Гудинг из Socket отмечает, что многие разработчики программного обеспечения значительно полагаются на GenAI в процессе написания кода. GenAI может как прямо генерировать строки кода, так и предлагать разработчикам разные пакеты для скачивания и включения в их проекты.
Галлюцинируемое вредоносное ПО
В отчете подчеркивается, что AI не всегда создает различные названия или пакеты — некоторые элементы повторяются. При многократном использовании одинаковых запросов на генерацию, 43% вымышленных пакетов повторялись каждый раз, в то время как 39% никогда не появлялись повторно. В общей сложности 58% таких пакетов были упомянуты более одного раза, что показывает устойчивость моделей к определенным запросам.
Потенциальные угрозы
Хотя это пока только в теории, киберпреступники могут создать карту названии пакетов, которые нейросеть «галлюцинирует», и зарегистрировать их на платформах с открытым исходным кодом. Таким образом, когда разработчику предлагается такой пакет, он может найти его на GitHub или PyPI и установить, не зная, что пакет вредоносный.
Предостережение для разработчиков
На момент публикации подтвержденных случаев slopsquatting не зафиксировано, но очевидно, что подобные атаки — лишь вопрос времени. Лучший способ защититься от подобных угроз — быть осторожным при принятии любых рекомендаций, будь то от людей или автоматических систем.
Источник: TechRadar
