Comet на Perplexity или друг ИИ-браузър може да извади данните на кредитните карти при обработката на уеб-страниците – изследване на Brave

Разработчиците на браузъра Brave показаха как, използвайки скрит текст на страница, можете да принудят изкуствения интелект на Comet от Perplexity или подобен браузър да извърши каквото и да е действие.

Интегрираният в браузъра изкуствен интелект може да направи приложенеито нещо повече от просто уеб-браузър. Например, той може самостоятелно да проверява поща, да купува билети и т.н. и има съответните права за това. Изследователи са показали, че изкуственият интелект на Comet не е в състояние да различи скритата злонамерена текстова заявка на страница от инструкциите за потребителя. Дори коментар под съдържанието на напълно безопасна страница може да хакне AI-браузъра.

„По време на нашето проучване върху Comet открихме уязвимости, докладвани на Perplexity, които подчертават предизвикателствата пред сигурността, пред които са изправени агентно-базираните AI имплементации в браузърите. Атаката демонстрира колко лесно е да се манипулират AI-асистентите […]. Уязвимостта, която обсъждаме в тази публикация, е в начина, по който Comet обработва съдържанието на уеб-страницата: когато потребителите го помолят да „обобще тази страница“, Comet предава част от тази страница директно на своя LLM, без да прави разлика между потребителски инструкции и ненадеждно съдържание на страницата. Това позволява на атакуващите да вграждат полезни товари за индиректно инжектиране на заявки, които AI ще изпълнява във вид на команди“ — каза Brave в блог публикацията си.

Как работи това

Атаката се нарича косвено внедряване на заявки. Текстът във външен източник умишлено се предава като потребителска инструкция.

1. Атакуващият вгражда злонамерени инструкции в мрежови ресурси по един или друг начин. Той крие инструкциите в бял текст на бял фон, които са невидими коментари в HTML кода и други подобни.
2. Потребителят отива на тази уеб-страница и използва функция на ИИ-асистента, като например „Обобщение на тази страница“ или моли изкуствения интелект да обработи страницата по друг начин.
3. Когато обработва съдържанието, изкуственият интелект вижда скритите злонамерени инструкции. Неспособен да прави разлика между съдържанието, което трябва да обобщи, и инструкциите, той възприема всичко като потребителски заявки.
4. Въведените команди инструктират изкуствения интелект да използва инструментите на браузъра в полза на нападателя. Например, за да влезе в уебсайта на банката на потребителя, да намери запазени пароли или да изведе публично поверителна информация.

Изследователите предоставиха практически пример за атака в браузъра Comet. Можете да видите реализацията във видеоклипа във Vimeo. Потребителят посещава публикация в Reddit, чийто коментар съдържа инструкции по въвеждане на код, скрит зад спойлер. Той кликва върху бутона „Обобщете тази страница“ в Comet. ИИ-асистентът на Comet вижда и обработва тези скрити инструкции, които в няколко стъпки водят до кражба на акаунт в Perplexity, използващ еднократен код за вход.

Brave е разработил прости насоки за създателите на браузърни агенти, за да предотврати подобни атаки. Браузърът трябва да прави разлика между потребителските инструкции и съдържанието на сайта, моделът трябва независимо да проверява съгласуваността на задачите с потребителя и да изолира агентския преглед от обикновеното сърфиране.

В заключение, разработчиците посочват фундаментален проблем със задвижваните от изкуствен интелект агенти в браузърите: агентът трябва да извършва само действия, които съответстват на желанията на потребителя. Тъй като ИИ-асистентите придобиват все по-мощни възможности, атаките с косвено инжектиране на заявки представляват сериозни рискове.