Появи се нов мрежов червей, който работи чрез ИИ-услуги: той може да спами и да краде данни

Международен екип от изследователи в областта на киберсигурността е разработил червей, който може да се саморазпространява между услуги с изкуствен интелект, да краде данни и да изпраща спам имейли.

С развитието на системите с изкуствен интелект като ChatGPT и Gemini, те все по-често се използват за специфични задачи. Например създаване на събития в календари или поръчка на продукти.

Изследователите решили да покажат, че такива системи могат да бъдат заплаха. Те създадоха нов вид атака, която никога досега не е съществувала.

Те са разработили червей, наречен Morris II в чест на първия червей Morris, който през 1988 година заразява 6200 компютъра. Това са 10% от всички компютри, свързани към интернет по това време. Morris II извършва имейл атака срещу виртуални асистенти, базирани на изкуствен интелект, краде данни от имейли и изпраща спам, като заобикаля защитите ChatGPT и Gemini.

Авторите на изследването тестват новия модел на атака в изолирана среда.

Това е възможно благодарение на мултимодалния характер на големите езикови модели, т.е. способността им да обработват текст, изображения и видео. Тези червеи все още не са съществуват на практика, но изследователите предупреждават, че тази заплаха трябва да се вземе предвид както от соло разработчиците, така и от стартъпите и технологичните компании.

Повечето генеративни AI системи работят, като получават текстови команди – заявки за отговор на въпрос или за създаване на изображение. Тези команди могат да бъдат използвани срещу системата и да я накарат да игнорира мерките за сигурност и да създава неподходящо съдържание. Могат да ѝ бъдат дадени скрити инструкции, например като ѝ се предложи адресът на злонамерена страница със скрития текст на такива команди. Принципът, на който се основава Morris II е враждебна самовъзпроизвеждаща се подкана. Такава команда кара модела с генеративен ИИ да издаде друга команда в отговор. Това много прилича на традиционните модели за атака, като например SQL инжектиране и препълване на буфера.

За да демонстрират как работи червеят, изследователите създават имейл услуга, която може да получава и изпраща съобщения с помощта на генеративен изкуствен интелект.

За целта тя се свързва с ChatGPT, Gemini и модела с отворен код LlaVA. След това експертите приложили два метода за използване на уязвимостта на ИИ. С помощта на самовъзпроизвеждаща се текстова инструкция и подобна инструкция, вградена във файл с изображение.

Извършвайки тестовата атака, изследователите подготвили имейл със злонамерена команда за генериране на отговор с помощта на търсене в интернет. При командата голям езиков модел търси допълнителна информация в мрежата. При получаване на такова електронно писмо услугата за генериране на отговор изпраща заявка към GPT-4 или Gemini Prо. Тази заявка извършва „хак на изкуствения интелект“ и краде данни от електронните писма.

Отговорът на ИИ, който съдържа чувствителни потребителски данни, допълнително заразява нови хостове при отговора на самото електронно писмо и се съхранява в базата данни на новия клиент. Във втория пример тази команда е файл с изображение. Чрез поставяне на самовъзпроизвеждаща се команда във файл с изображение е възможно с едно електронно писмо да се провокира по-нататъшно масово разпространение на изображения с всякакво съдържание, включително обидни или екстремистки материали.

Изследователите твърдят, че по този начин е възможно да се извлекат данни от електронната поща, включително телефонни номера, номера на кредитни карти и като цяло всякакъв вид чувствителна информация.

Те отбелязват, че тези методи за атака са били възможни поради грешки в архитектурния дизайн на екосистемата на изкуствения интелект. Те споделили откритието си с Google и OpenAI. Последната потвърждава заплахата, но добавя, че компанията работи за подобряване на стабилността на своите системи, докато Google отказва коментар. За да се предпазят от подобни атаки, експертите предлагат не само да се подобри надеждността на системите, но и да се промени моделът на тяхната работа.

Потребителите не трябва да дават на ИИ привилегии, като например възможността да изпраща имейли от тяхно име. Всички действия на системата трябва да се координират с човек. Освен това многократното повтаряне на една и съща команда на ИИ в системата ще накара механизмите за защита да бъдат подозрителни. Въпреки това изследователите смятат, че подобни червеи ще започнат да работят през следващите 2-3 години.