Битката на умовете: Защо математиците използват теоремата на Найкуист-Шенън, за да хакнат най-мощния AI на Google?

Новата пробойна в Gemini е нашият „нулев ден“, но само за изображенията.

В проучване на The Trail of Bits бе разкрита нова уязвимост в екосистемата Gemini на Google и свързаните с нея услуги, която позволява скрита кражба на потребителските данни чрез изображения, съдържащи злонамерени мултимодални подкани. Експлойтът се основава на функцията за мащабиране: когато системата автоматично намалява изображението, преди да предаде модела, във версията с ниска резолюция се виждат инструкции, които са невидими за потребителя в оригинала – те стават активни във версията с понижена разделителна способност. Това позволява на нападателите да инициират действия от името на жертвата, включително ексфилтриране на лична информация.

Атаката беше демонстрирана чрез Gemini CLI, който използва интеграция със Zapier MCP. Файлът settings.json е с настройка по подразбиране trust=true, което автоматично позволява всички MCP повиквания да се изпълняват без потвърждение от потребителя. В експеримента каченото изображение активира скрита команда, която прехвърля данни от Google Calendar към електронната поща на нападателя. Подобни сценарии бяха успешно възпроизведени във Vertex AI Studio, Gemini Web, Gemini API чрез llm CLI, Google Assistant на Android и Genspark, което подчертава системния характер на уязвимостта.

Атаката използва ефектите, свързани с теоремата на Найкуист-Шенън: ако честотата на дискретизация е недостатъчна, данните се възстановяват нееднозначно, което създава контролиран ефект на алиасинг (припокриване).

Изследователите манипулират стойностите на т.нар. high-importance pixels – точките, които имат най-силно въздействие върху крайната яркост на изображението. Полезният товар се скрива в тъмните области, а промяната на цветовата палитра се управлява чрез оптимизация по метода на най-малките квадрати, така че след намаляване на разделителната способност се създава нов контраст, който е невидим за потребителя, но разпознаваем за модела.

Anamorpher, инструмент с отворен код за генериране и анализ на злонамерени изображения, играе важна роля в изследването. Той поддържа три метода за мащабиране (neararest neighbour, bilinear, bicubic) и е в състояние да адаптира техниките за атака към конкретни библиотеки, включително Pillow, OpenCV, TensorFlow и PyTorch. По-конкретно, показано е как Anamorpher използва характеристиките на бикубичната интерполация в OpenCV, за да въведе полезен товар, като същевременно поддържа „чистия“ вид на изображението. Помощната програма включва уеб интерфейс, API на Python и модулен бекенд, което позволява на изследователите да адаптират техниката към различни реализации на ресемплиране.

За защита експертите препоръчват да се деактивира автоматичното мащабиране на изображенията или стриктно да се ограничат допустимите размери на ниво услуга. Ако е необходимо преоразмеряване, потребителят винаги трябва да вижда предварителна визуализация на версията на изображението, анализирана от модела, включително интерфейсите CLI и API. Освен това разработчиците трябва да забранят повикванията към външни инструменти и API без изричното потвърждение на потребителя и да приложат системни филтри срещу мултимодални атаки за инжектиране на подкана, включително проверка на текста в изображенията.

Авторите предупреждават, че атаката е особено опасна за мобилните и периферните устройства, където фиксираните размери на изображенията и опростените алгоритми за мащабиране правят техниката още по-ефективна. Планирани са по-нататъшни изследвания за изучаване на въздействието на подобни атаки върху гласовите асистенти и мултимодалните системи, както и за разширяване на функционалността на Anamorpher с цел проучване на нови сценарии за експлоатация и методи за защита.