ChatGPT и други инструменти с ИИ могат да бъдат подмамени да пишат зловреден код и да правят кибератаки

Екип от изследователи от Университета в Шефилд, Великобритания демонстрира, че популярни инструменти с изкуствен интелект като ChatGPT на OpenAI, наред с още 5 други могат да бъдат манипулирани, за да създават потенциално вредни SQL команди, които могат да бъдат използвани за атаки срещу компютърни системи в реалния свят.

Инструментите, които са използвали изследователите в своето проучване включват BAIDU-UNIT, ChatGPT, AI2SQL, AIHELPERBOT, Text2SQL и ToolSKE.

„В момента ChatGPT се радва на голямо внимание. Това е самостоятелна система, така че рисковете за самата услуга са минимални, но това, което открихме е, че той може да бъде подмамен да пише зловреден код, който може да нанесе сериозни вреди на други системи.“

добави Пенг

Екипът провел тестове за уязвимост на системите Text-to-SQL, които обикновено се използват за създаване на интерфейси на естествен език към бази данни. Text-to-SQL е техника, която автоматично превежда въпрос на човешки език в SQL заявка.

Екипът е установил, че тези инструменти с изкуствен интелект могат да бъдат подмамени да създадат зловреден код, който може да се използва за извършване на кибератаки, се посочва в прессъобщението на университета. Екипът е успял да открадне чувствителна лична информация, да манипулира бази данни и да срине услуги чрез атаки от типа „отказ на услуга“, или т.нар. DDoS атаки.

DDoS атаката има за цел да изключи дадена машина или мрежа, като я направи недостъпна за предвидените за нея потребители.

Пен обясни, че въпреки че много хора използват ChatGPT като инструмент за разговори, по-голямата част от потребителите го използват като инструмент за повишаване на продуктивността.

Изследователите открили, че могат тайно да поставят вреден код, например троянски кон в моделите Text-to-SQL, докато те се обучават. Този код няма да бъде „видим“ в началото, но може да бъде използван, за да навреди на хората, които го използват.

„Потребителите на системи Text-to-SQL трябва да са наясно с потенциалните рискове, изтъкнати в това наше проучване. Големите езикови модели, като тези, използвани в системите Text-to-SQL са изключително мощни, но поведението им е сложно и може да бъде трудно предвидимо. В Университета в Шефилд в момента работим за по-доброто разбиране на тези модели и за да можем безопасно да реализираме пълния им потенциал.“

казва д-р Марк Стивънсън, старши преподавател в университета

Екипът споделили работата си с Baidu и OpenAI, за да ги предупреди за недостатъците в техните чатботове с изкуствен интелект. Според изследователите и двете компании са отстранили проблема.