Изследователи установиха, че AI-агентите в GitHub могат да крадат потребителските данни

Изследователи по сигурността от Университета „Джонс Хопкинс“ (Johns Hopkins University, JHU) успешно проникнаха в AI агентите на Anthropic, Google и Microsoft, интегрирани в платформата GitHub Actions, като използваха нов тип атака чрез внедряване на подсказки. Въпреки че са получили награди за откриването на уязвимостите, нито една от компаниите не е предоставила коментари и не е разкрила номерата на идентификаторите на уязвимостите (CVE), оставяйки много потребители в неведение относно заплахата от кражба на техните потребителски данни.

Група учени под ръководството на Аонан Гуан (Aonan Guan) демонстрира как злонамерени лица могат да поемат контрола над агентите Claude Code Security, Gemini CLI Action и GitHub Copilot. Както съобщава The Register, чрез внедряване на злонамерени инструкции в заглавията на pull-заявките (PR) или коментарите към задачите, атакуващите накараха AI да изпълнява команди на командния промпт и да разкрива чувствителни данни, като API ключове и токени за достъп.

Въпреки че и трите компании признаха проблема и изплатиха възнаграждение, те се ограничиха до вътрешни корекции, без да публикуват официални препоръки за широката аудитория. Според Гуан това решение е опасно, тъй като разработчиците, които използват уязвими версии на софтуера, може никога да не разберат за наличието на проблеми, свързани със сигурността.

Методът на атака, наречен Comment and Control (коментирай и контролирай), експлоатира автоматичната обработка на данни от AI агенти, които четат заглавията и коментарите в GitHub. На злоумишленика е достатъчно да вмъкне команда в текста на заявката, за да я изпълни агентът в средата на GitHub Actions и да публикува резултат, съдържащ откраднатите токени под формата на коментар.

Първата мишена на изследователите беше агентът на Anthropic, който анализира кода за наличие на уязвимости. Гуан откри, че системата обработва заглавията на PR като част от контекста на задачата, което му позволи да изпълни командата „whoami“ и да получи отговор под формата на коментар за сигурността. След като беше доказана възможността за кражба на по-чувствителни данни, като API ключове, компанията изплати награда от 100 долара и повиши нивото на критичност на уязвимостта до 9,4, а в документацията се появи предупреждение, че инструментът не е защитен от инжектиране и трябва да се използва само за доверенни заявки.

При тестването на агента Google Gemini екипът приложи подобна тактика, като добави фалшив раздел „доверено съдържание“ в коментарите към задачата. Това позволи да се предефинират инструкциите за сигурност на модела и да се принуди тя да публикува ключа GEMINI_API_KEY в отворен достъп.Google оцени откритието на 1337 долара и посочи имената на всички съавтори на изследването в списъка с благодарности.

Най-сложната цел се оказа автономният AI-асистент GitHub Copilot на Microsoft, разполагащ с многостепенна система за защита, включваща филтриране на околната среда и мрежов екран. Изследователите трябваше да използват скрити HTML коментари, невидими за човешкото око, за да предадат злонамерени инструкции при възлагане на задача на агента. Въпреки че Microsoft първоначално определи проблема като известен, в крайна сметка изплати 500 долара след доказателството на концепцията.