Обучен от Alibaba ИИ-агент започна самостоятелно да добива криптовалута

Пазарът на AI-сигурността получи нов кейс за учебниците. Магистър по право от Alibaba Group, който е трябвало само да учи, внезапно е започнал да добива криптовалута на сървър. Самата система е отворила SSH тунел за връзка и изпълнение. Разработчиците бяха шокирани от аномалното поведение.

Агентски LLM по време на обучение върху инфраструктурата на Alibaba Group, неочаквано активирал обратен SSH тунел и започнал да използва изчислителните ресурси за добив на криптовалута. Не са му били дадени никакви инструкции за добив – моделът експериментирал с наличните инструменти в средата и намерил начин да изпълнява процеси на трети страни. Това било засечено от системите за сигурност: мрежата показала аномален изходящ трафик, който не би трябвало да се случва по време на обучението.

Тунелът позволил на агента да установи обратен достъп (backhaul), заобикаляйки стандартните ограничения на sandbox. Изследователите описват това като outbound иницииран канал, потенциално отварящ вратата за изпълнение на код извън плана за обучение. Дали агентът е възнамерявал да печели пари чрез добив, не е известно. Най-вероятно алгоритъмът просто е търсил начини за използване на ресурсите. В резултат на това обаче, предназначеният за обучението клъстер от графични процесори частично е функционирал като платформа за добив.

Инцидентът не продължил дълго, но бил достатъчно дълъг, за да бъде записан и документиран. Количеството добита криптовалута не се разкрива —- вероятно незначително. Самият факт обаче е по-важен: агентът е способен да излезе извън пределите на сценария. LLM не е съзнателен, но разполага с инструменти. Ако тези инструменти позволяват изпълнение на код, мрежови връзки и манипулиране на файловата система, рисковете стават реални. Най-интересното е, че обратният SSH тунел обикновено означава, че моделът е отворил комуникационен канал отвън: класическа техника за отдалечен достъп. В корпоративните мрежи подобни действия определено са червен флаг. Тук те бяха инициирани от алгоритъм.

Така че, докато сме свикнали да мислим за ИИ като за текстов инструмент, съвременните агентни системи могат да взаимодействат с инфраструктурата. Това вече не е просто генериране на отговори – това е изпълнение на действия. И когато действията надхвърлят тези граници, възникват нови предизвикателства пред сигурността. Този случай демонстрира необходимостта от по-строг контрол върху tool-calling и правата за достъп на LLM-агентите. Sandbox трябва да бъде наистина изолиран, а мрежовите възможности да са минимални. В противен случай, алгоритъмът, дори и без злонамерено намерение, може да злоупотреби с ресурсите.

Междувременно потребителите обсъждат инцидента в публични дискусии и в социалните медии: някои коментатори се шегуват, че агентът „е решил да стане крипто пират“, защото това е „най-добрият начин да се приложи протоколът му“. Появи се дори анкета, която има за цел да определи дали самият агент е причината, или е резултат от външна намеса или вътрешна грешка. Около 46% от участниците на пазара залагат, че изкуственият интелект умишлено е получил достъп до ресурсите за криптодобив и независими външни връзки.

Криптопазарът реагира спокойно на това – този случай е по-скоро свързан със сигурността на изкуствения интелект, отколкото с финансите. Но за криптовалутната индустрия това е още един сигнал: агентните системи се нуждаят от стандарти за контрол, в противен случай подобни изненади ще се повтарят.