Най-новият AI инструмент на Google се оказа шпионин в компютрите на програмистите

В наскоро пуснатия инструмент за команден ред на Google – Gemini CLI е открита сериозна уязвимост, която позволява на нападателите незабелязано да изпълняват злонамерени команди и да прехвърлят данни от компютрите на разработчиците, ако в системата са разрешени определени команди.

Уязвимостта е открита от Tracebit само два дни след пускането на инструмента. Проблемът беше незабавно докладван на Google и на 25 юли беше пусната актуализация 0.1.14, която отстранява уязвимостта.

Gemini CLI е конзолен интерфейс за взаимодействие с изкуствения интелект Gemini на Google, представен на 25 юни. Инструментът е създаден като помощник на разработчиците: той зарежда проектни файлове в „контекст“ и позволява взаимодействие на естествен език с езиковия модел.

В допълнение към генерирането на код и подсказки, Gemini CLI е способен да изпълнява команди локално – след одобрение от потребителя или автоматично, ако командата е в списъка с разрешени команди.

Специалистите на Tracebit започнаха да проучват инструмента веднага след пускането му и откриха, че той може да бъде накаран да изпълнява злонамерени команди без знанието на потребителя. Проблемът се крие в механизма за обработка на контекста – Gemini CLI анализира съдържанието на файлове като README.md и GEMINI.md, като ги използва като подсказки, за да разбере структурата на проекта. Възможно е обаче в тях да се скрият инструкции, които водят до въвеждане чрез подкана и изпълнение на външни команди.

Разработчиците демонстрираха как можете да създадете безобидно Python приложение с модифициран README файл, в който първата команда изглежда безопасна – например, grep ^Setup README.md, но след нея е вмъкната втора команда, последвана от точка и запетая, която се занимава с тайно изпращане на променливи на средата (евентуално съдържащи тайни) към отдалечен сървър. Тъй като grep е разрешен от потребителя на системата, цялата команда се третира като надеждна и се изпълнява автоматично.

Това е същността на атаката: поради слабия анализ на командите и наивния подход към списъка с разрешени действия Gemini CLI третира целия фрагмент като команда „grep“ и не изисква потвърждение.

Освен това форматът на изхода може да бъде визуално прикрит, като зловредната част се скрие зад интервали, така че потребителят да не забележи трика.

За да докаже, че атаката работи, Tracebit записа видеоклип, демонстриращ използването на уязвимостта. Въпреки че атаката изисква да бъдат изпълнени определени условия – например, потребителят да позволи предварително да бъдат изпълнени определени команди, устойчивостта на подобни схеми трябва да бъде вградена по подразбиране, особено в инструментите, които работят с код.

Разработчиците на Tracebit подчертават: това е нагледен пример за това колко уязвими за манипулация могат да бъдат инструментите с изкуствен интелект. Дори при привидно безобидни действия те могат да извършват опасни операции, ако се използват в доверена среда.

На потребителите на Gemini CLI се препоръчва незабавно да обновят до версия 0.1.14 и да избягват анализирането на непознати хранилища извън изолирани среди. За разлика от Gemini CLI, други подобни инструменти като Codex на OpenAI и Claude на Anthropic са се оказали устойчиви на подобни методи за атака поради по-строгите правила за разрешаване на команди.