Атака срещу системи с алгоритми на машинно обучение

Специалисти от Нюйоркския университет публикуваха интересен доклад, в който са описани методи за атака срещу системи, базирани на дълбоко машинно обучение.

Създателите на подобни системи непрекъснато ги усъвършенстват и често не обръщат внимание на принципните уязвимости, като например една от най-лесните – вмъкване на задна врата чрез манипулация с масива данни, използвани по време на машинното обучение.

Подобни задни врати се активират при появата на съвсем незначителен и незабележим признак, който води до скрито решение от страна на системата. Въвеждането на бекдора може да стане, когато атакуващият има достъп до масивите данни, използвани за обучението на ИИ. Любопитно е, че следващите тренировки на невронната мрежа не премахват задната врата, а само намаляват точността на разпознаването.

Специалистите разглеждат пример за вмъкване на бекдор в ИИ система за разпознаване на пътните знаци. След залепянето на съвсем малка лепенка, на която се намира образа на цвете на знака STOP, системата престава да го разпознава като знак за задължително спиране, а като знак за ограничение на скоростта. Без тази малка лепенка, системата коректно възприема знака. Съвсем логично е, че същият метод може да бъде приложен при разпознаването лицата на престъпниците или за програмиране на катастрофи в автономните системи.

Като защита от подобен тип ИИ атаки се препоръчва използването единствено на проверени модели за машинно обучение.