Какво не е наред с новия амбициозен AI проект на IBM

IBM пусна в затворена бета версия своя агент за разработчици с изкуствен интелект, който трябва да помага при писането на код, като спазва корпоративните изисквания за сигурност. В описанието на компанията той звучи почти като идеален партньор: разбира намеренията на разработчика, познава хранилището и спазва стандартите.

Тестовете обаче разкриха една неприятна подробност: ако нападател подхвърли на AI агента правилно форматиран текст, това може да го накара да стартира зловреден скрипт.

Става дума за инструмента Bob, който IBM обяви през октомври и тества в два формата: като команден ред и като IDE, т.е. отделен режим на агента за терминала и интеграция в средата за разработка. Изследователите от PromptArmor проучиха Bob преди публичното пускане и заявиха, че CLI може да бъде стартиран чрез инжектиране на подкана, така че в крайна сметка да стартира произволни работни натоварвания на машината на жертвата, a IDE e уязвим към типичните сценарии за изтичане на данни от приложения с изкуствен интелект, при които информацията може да бъде открадната чрез функциите за рендиране и мрежовите заявки, казаха те.

Проблемът тук не е само в един продукт на IBM. Базираните на агенти системи с изкуствен интелект, на които се предоставя достъп до инструменти и се позволява да действат стъпка по стъпка отдавна се считат за рискови. Изследователи неведнъж са показвали как такива инструменти могат да бъдат пробити чрез подправяне на инструкции, пробив на джейлбрейк или съвсем класически уязвимости, свързани с изпълнението на код. На практика много доставчици признават това, като предлагат проста застрахователна полица: човек трябва да потвърждава опасните действия ръчно.

Ако се съди по документацията, IBM също разчита на това. Материалите на компанията съдържат предупреждение: позволяването на AI агента да изпълнява автоматично команди от списъка с рискови команди може да доведе до злонамерени операции. Като мярка компанията предлага да се използва списък с позволени команди и да се избягват шаблони с подредба, като се очаква AI агентът да пита потребителя дали командата може да бъде изпълнена в съмнителни случаи.

От PromptArmor обаче твърдят, че защитата е твърде несигурна. Изследователите предоставили на Bob хранилище, в което зловреден скрипт бил скрит в README.md. Файлът се преструвал на урок по фишинг и съдържал поредица от команди, които агентът трябвало да изпълни. Първите команди изглеждали безобидни и се свеждали до echo. Всъщност Bob поискал разрешение: изпълни веднъж, разреши винаги или предложи редакция. И тогава започнала веселбата. Третата команда под прикритието на поредното echo вече се опитвала да изтегли и стартира зловреден скрипт. Ако преди това потребителят е задал на echo да разрешава винаги, следващата стъпка може да се осъществи без допълнително потвърждение и зловредният товар да се инсталира автоматично.

От техническа гледна точка дори в този режим Bob би трябвало да има допълнителни защити. Например, той забранява заместването на команди като „$(команда)“. Според изследователите обаче агентът не проверява за заместване на процеси (process substitution) и това е било установено в минимизирания JavaScript код на проекта. Освен това се твърди, че системата не винаги забелязва, че други подкоманди са били верижно свързани с разрешена команда чрез пренасочване с „>“, което превръща външния вид в безопасно повикване, а истинската същност – в набор от опасни действия.

В резултат на това, както обясни управляващият директор на PromptArmor Шанкар Кришнан, човешката проверка всъщност валидира само разрешената команда, въпреки че в същия низ се извършват и други неразрешени команди. Изследователите сравняват това с поведението на конкурентни решения и казват, че например Claude Code в подобен случай би изисквал отделно съгласие за целия съставен набор от команди, дори ако първата команда във веригата е в списъка за автоматично разрешаване.

Ако нападателят успее да накара AI агента да достави и изпълни произволен шел скрипт, сценариите са ясни – от откуп и кражба на удостоверения до пълно превземане на устройството. От PromptArmor подчертават, че рискът се проявява в познати работни ситуации, в които разработчикът взаимодейства с недостоверно съдържание.

АI aгентът може да чете уеб страници, като в този момент инжекцията може да пристигне от чужда документация или дискусии във форум. Той може да чете изхода на терминални команди и злонамерено лице може да се окаже в данни от инструмент на трета страна. В своя пример изследователите са избрали варианта с непознато хранилище с отворен код като най-реалистичен и самодостатъчен. Експертите твърдят, че компанията вече е била уведомена за откритията.