OpenAI призна, че ИИ-браузърите имат уязвимост към инжектиране, която не може да бъде напълно отстранена

OpenAI работи за засилване на сигурността на своя браузър с изкуствен интелект Atlas, но компанията е осъзнала, че не може напълно да елиминира prompt injection заплахата. Последната представлява вид атака, при която ИИ-агент изпълнява скрити инструкции в невидими области на уеб-страници или имейли.

OpenAI смята, че атаките с инжектиране на заявки е малко вероятно да бъдат напълно елиминирани по същия начин, както измамите и социалното инженерство, и че „агентският режим“ в браузърите „разширява повърхността на заплахите за сигурността“. OpenAI пусна Atlas през октомври и скоро изследователите по киберсигурност започнаха да показват, че поведението на браузъра може да бъде манипулирано, например чрез въвеждане на няколко думи в Google Docs. Разработчиците на Brave потвърдиха, че индиректното инжектиране на заявки е системен проблем за AI-браузърите, включително и Perplexity Comet. Невъзможността за пълно изключване на такива атаки беше наскоро обявена от Националния център за киберсигурност на Великобритания и препоръча на експертите да не се опитват да ги „спрат“. Google и Anthropic, междувременно, решиха да разчитат на многопластова защита и непрекъснат стрес-тест на своите системи.

OpenAI реши да предприеме различен подход и създаде „автоматизиран атакуващ, базиран на голям езиков модел“. Това е бот, който е преминал през обучение с подсилване и е поел ролята на хакер, като постоянно се опитва тайно да изпраща злонамерени инструкции към ИИ-агент. Ботът тества атаките си в симулации, демонстрирайки как целевият ИИ разсъждава и действа при определени условия. Той изучава реакцията, коригира модела си на атака и повтаря опитите си отново и отново. Външни лица нямат достъп до толкова дълбоко разбиране на вътрешното мислене на целевия ИИ, така че на теория ботът на OpenAI би трябвало да открива уязвимостите по-бързо от реалните нападатели.

В една демонстрация бот пусна „отровен“ имейл във входящата поща на потребител. Изкуственият интелект сканирал кореспонденцията, отворил имейла, последвал скритите инструкции и изпратил писмо за уволнение от името на потребителя, вместо автоматичния отговор „отсъствам от офиса“. След актуализация на сигурността обаче ИИ-агентът успешно открил опита за инжектиране и го докладвал на потребителя. Компанията отбелязва, че ако не съществува надеждна и пълна защита срещу подобни атаки, тогава са необходими мащабни тестове и по-бързи цикли на актуализация. OpenAI не съобщи за реален успех в намаляването на отговорите за инжектиране, но отбелязва, че работата в тази област, с участието на специалисти от трети страни, е започнала още преди пускането на Atlas.

Заплахата от ИИ-агентите може да бъде сериозна: те притежават известна степен на автономност, когато им се предоставят високи нива на достъп, според експерти, интервюирани от TechCrunch. Следователно, методите за обучение с подсилване сами по себе си са недостатъчни — тези аспекти също трябва да се вземат предвид: ограничаване на действията, които ИИ-агентът може да извършва от името на логнатия потребителски акаунт, и искане на потвърждение, преди да направи нещо важно. Препоръките към потребителите на OpenAI също така подчертават тези аспекти: Atlas изисква потвърждение, преди да изпраща съобщения или да извършва плащания. Потребителите също така бяха посъветвани да дават на ИИ-агентите конкретни инструкции, вместо например да предоставят достъп до имейл и да им позволяват да „правят каквото е необходимо“. „Дори при наличие на предпазни мерки, широката свобода на действие улеснява скритото или злонамерено съдържание да се насочи към агент“ — предупреждава OpenAI.