CrowdStrike анализирует последствия сбоя после неудачного обновления для Windows
Обнаружение проблемы
Компания CrowdStrike опубликовала отчет о последствиях инцидента (PIR) после выпуска ошибочного обновления, которое на прошлой неделе вывело из строя 8,5 миллиона компьютеров на базе Windows. В посте подробно рассматривается причина сбоя: ошибка в тестовом программном обеспечении, которое не смогло правильно проверить обновление контента, выпущенное в пятницу. В ответ на этот инцидент CrowdStrike обещает проводить более тщательное тестирование обновлений, улучшить обработку ошибок и внедрить поэтапное развертывание, чтобы избежать повторения подобных ситуаций.
Falcon и обновления конфигурации
Программное обеспечение Falcon от CrowdStrike используется компаниями по всему миру для защиты от вредоносных программ и угроз безопасности на миллионах компьютеров под управлением Windows. В пятницу было выпущено обновление конфигурации контента для Falcon, предназначенное для сбора телеметрии о новых потенциальных угрозах. Однако это обновление вызвало сбои в работе Windows.
Детали обновления
Обновления конфигурации в CrowdStrike делятся на два типа: Sensor Content, обновляющий собственный сенсор Falcon на уровне ядра Windows, и Rapid Response Content, который изменяет поведение сенсора для обнаружения вредоносного ПО. Небольшой файл Rapid Response Content размером 40KB стал причиной проблемы в пятницу.
Обновления сенсора и валидация
Обновления сенсора включают в себя модели ИИ и машинного обучения, которые позволяют улучшать возможности обнаружения угроз с течением времени. Эти обновления, не зависящие от облака, включают новые типы шаблонов, которые активируются с помощью Rapid Response Content, такого как то, что было выпущено в пятницу.
Ошибка в системе проверки
CrowdStrike управляет собственной системой облачной проверки контента, которая должна предотвращать подобные инциденты. На прошлой неделе было выпущено два обновления Rapid Response Content, также известных как Template Instances. «Из-за ошибки в Content Validator одно из обновлений прошло проверку, несмотря на проблемные данные,» — заявили в CrowdStrike.
Предположения и последствия
Хотя CrowdStrike проводит автоматизированное и ручное тестирование Sensor Content и Template Types, Rapid Response Content, выпущенное в пятницу, не было протестировано так же тщательно. Мартовское развертывание новых типов шаблонов вызвало доверие к проверкам Content Validator, поэтому предполагалось, что выпуск Rapid Response Content не приведет к проблемам.
Сбой системы
Эта уверенность привела к загрузке проблемного Rapid Response Content в Content Interpreter сенсора, что вызвало выход за пределы допустимой области памяти. «Это неожиданное исключение не было обработано корректно, что привело к сбою операционной системы Windows (BSOD),» — объясняют в CrowdStrike.
Планы по предотвращению повторения
Чтобы предотвратить подобные ситуации в будущем, CrowdStrike обещает улучшить тестирование Rapid Response Content, включая локальное тестирование разработчиками, тестирование обновлений и откатов, а также стресс-тестирование, фаззинг и инъекцию ошибок. Также будут проводиться тесты стабилизации и интерфейса контента для Rapid Response Content.
Усовершенствование системы проверки
CrowdStrike обновляет облачный Content Validator для более тщательной проверки Rapid Response Content перед выпуском. «Новый тест разрабатывается для предотвращения развёртывания проблемного контента в будущем,» — заявили в компании.
Улучшение обработки ошибок и развертывания
Также будут улучшены механизмы обработки ошибок в Content Interpreter, который является частью сенсора Falcon. CrowdStrike внедрит поэтапное развертывание Rapid Response Content, чтобы обновления развертывались постепенно, а не сразу на всех системах. Оба улучшения — и улучшение драйверов, и поэтапное развертывание — были рекомендованы экспертами по безопасности в последние дни.
Источник: The Verge
