OpenAI показаха как невронната мрежа може да бъде измамена само чрез хартиена бележка

1
1614

Експертите на OpenAI съобщиха, че са открили съвсем лесен начин да мамят своя собствен софтуер за разпознаване на най-разнообразни обекти. Достатъчни са сами лист и химикал.

Оказа се, че най-новата невронна мрежа за компютърно зрение CLIP може да бъде съвсем лесно излъгана с помощта на така наречената типографска атака. Ако на един стикер просто бъде написано „iPod“ или „пица“ и той бъде залепен върху една ябълка, то CLIP започва грешно да идентифицира плода като плеър или като нещо сготвено.

Ръководителите на този проект специално подчертаха, че тази атака работи без каквито и да било ограничения и че за нейното използване не са необходими сериозни технологии.

Интересно е, че CLIP съвсем не е единственият специализиран софтуер, който се хваща в този капан. Всички проверени от тях системи за компютърно зрение с използването на алгоритми с елементи на изкуствен интелект също са уязвими към тази интересна типографска атака.

Моделът OpenAI е обучен чрез използването на изображения на текст, както и чрез изображения взети от Глобалната мрежа. С помощта на този подход е постигната високата универсалност на CLIP без да се налага обучението в някоя нова област да започва от нулата.

Но силната страна на този ИИ – неговата универсалност в този случай се превръща в недостатък, понеже невронната мрежа престава да разпознава ябълката, ако върху нея вижда думата „пица“.

Изследователите вече започнаха работа за справяне с типографската атака.

2.4 5 гласа
Оценете статията
Абонирай се
Извести ме за
guest
1 Коментар
стари
нови оценка
Отзиви
Всички коментари