CrowdStrike обвини тестовия си софтуер за глобалния срив на компютри с Windows от миналия петък

Краят на миналата седмица беше запомнен с най-големия срив на компютри с Windows, работещи със софтуера за киберзащита на CrowdStrike.

След проведено разследване CrowdStrike заяви, че сривът се дължи на грешка в тестовия софтуер на компанията, която не е позволила да се тества правилно актуализацията, разпространена до милиони компютри в петък.

В същото време CrowdStrike обеща да тества по-обстойно актуализациите на своя софтуер в бъдеще, както и да приложи процедура за поетапно внедряване на пакети, за да избегне повторение на инцидента. Припомняме, че приложението Falcon на CrowdStrike се използва от компании в цял свят за защита от кибератаки и е инсталирано на милиони компютри. В петък компанията започна да разпространява актуализация за Falcon, която трябваше да събира „телеметрични данни за възможни нови методи за борба с киберзаплахите“.

Такива актуализации се пускат с известна регулярност, но в този случай една от тях предизвика масово прекъсване на работата на милиони компютри с Windows по целия свят. CrowdStrike обикновено пуска два вида актуализации. Пакетите Sensor Content (Съдържание на сензора) актуализират съдържанието на Falcon на потребителското устройство и работят на ниво ядро на Windows. Пакетите със съдържание за бързо реагиране актуализират сигнатурите на сензора на Falcon, които се използват за откриване на зловреден софтуер.

В този случай един миниатюрен 40-килобайтов файл е причинил прекъсване на работата на 8,5 милиона компютъра.

Актуализациите на сензорите Falcon обикновено не се внедряват от облака и включват модели с изкуствен интелект и машинно обучение, които позволяват на CrowdStrike да подобри възможностите си за откриване на зловреден софтуер в дългосрочен план. Някои от тези възможности включват така наречените „типове шаблони“, които представляват програмен код за ново откриване и се персонализират в зависимост от начина, по който пакетът се доставя до устройствата на потребителите.

CrowdStrike разполага с облачно базирана платформа, която се използва за управление на продуктите на компанията и за проверка на съдържанието на сервизните пакети преди те да бъдат разпространени масово. Миналата седмица компанията пусна едновременно две актуализации на съдържанието за бързо реагиране.

Сега стана ясно, че грешка в инструмента за валидиране на съдържанието е довела до това, че и двата пакета са преминали валидирането, въпреки че единият от тях е бил проблемен и в крайна сметка е довел до масов отказ.

Въпреки, че CrowdStrike извършва автоматизирано и ръчно тестване на актуализациите преди масовото им разпространение, изглежда, че в този случай тестването не е извършено достатъчно задълбочено. Предишното разгръщане на „типовете шаблони“ е осигурило вътрешнофирмено „доверие в проверките, извършвани от инструментите за валидиране на съдържанието“, така че CrowdStrike смята, че ново разгръщане на подобна актуализация няма да предизвика усложнения. Това накара сензора Falcon да получи проблемното съдържание заедно с актуализацията на съдържанието за бързо реагиране, да зареди кода в своя интерпретатор на съдържание и след това да възникне грешка поради опит за достъп до области от паметта извън допустимото адресно пространство. Тази грешка не можеше да бъде обработена от Falcon, което доведе до срив на Windows.

За да предотврати подобни инциденти в бъдеще, CrowdStrike възнамерява да подобри процеса на тестване на съдържанието за бързо реагиране, включително тестване на локални системи на разработчици, поетапно внедряване на пакети и интегриране на възможност за връщане към предишно състояние на системата.

Освен това разработчиците ще внедрят в системите си допълнителни инструменти за стрес тестове на актуализациите и идентифициране на грешки. Ще бъде извършено тестване на стабилността на сервизните пакети и на интерфейса на Rapid Response Content. CrowdStrike също така ще актуализира базирания в облака инструмент за проверка на актуализациите и ще подобри механизма за обработка на грешки в интерпретатора на съдържание, който е част от сензора Falcon.