Изненада: Gemini вече пише вируси в реално време. И променя кода на всеки час

Зловреден софтуер от клавиатурата в облака – смешно и страшно едновременно.

Google Threat Intelligence Group (GTIG) публикува актуализиран анализ, който показва, че нападателите са преминали от обикновеното използване на изкуствения интелект за ускоряване на рутинните задачи към вграждане на AI модели директно в зловредния софтуер, което открива нов етап на злоупотреба: генериране на код „точно навреме“ и динамично модифициране на поведението на зловредния софтуер. В доклада си GTIG подробно описва откритите софтуерни семейства, начините за заобикаляне на ограниченията на моделите, примери за подкрепяни от държавата групировки и мерките, които компанията вече е приложила за неутрализиране на дейността и засилване на защитата в моделите.

GTIG фиксира първите примери за зловреден софтуер, който получава достъп до LLM моделите по време на изпълнение – най-ярките примери са вътрешните тракери PROMPTFLUX и PROMPTSTEAL.

PROMPTFLUX е експериментален VBScript дропър, който получава достъп до модела Gemini чрез API, като изисква замаскиране на собствения си код и се пренаписва в автоматично зареждане; той има модул „Thinking Robot“ (Мислещ робот), който редовно пита модела за нови опции за заобикаляне на антивирусните програми.

PROMPTSTEAL е пакет на Python, който използва API на платформата Hugging Face и модела Qwen2.5-Coder-32B-Instruct, за да генерира едноредови команди за Windows, които след това се изпълняват локално, за да събират системна информация и документи. GTIG оценяваPROMPTFLUX като намиращ се в процес на разработка, докато PROMPTSTEAL вече е използван в различни операции и е свързан с групата за атаки APT28 (FROZENLAKE), като известна активност е потвърдена от CERT-UA под етикета LAMEHUG.

В доклада са посочени и други образци:

FRUITSHELL – публичен PowerShell reverse-shell със съвети за заобикаляне на LLM защитите;

PROMPTLOCK – концептуално оръжие за криптиране, базирано на Go, което използва LLM за генериране на Lua скриптове;

QUIETVAULT – JS валидатор, който краде GitHub/NPM токените и качва резултатите чрез публични хранилища.

Всички тези примери демонстрират различни подходи към интегрирането на ИИ – от регенериране и замаскиране до генериране на команди и извличане на тайни от хоста. GTIG отбелязва, че някои механизми все още не са активни (оставени са като коментари) и служат като лабораторна подготовка за бъдещи реализации, но сигналът за посоката на развитие на заплахите вече е очевиден.

Отделно от това в доклада се обсъжда техника, при която нападателите използват разкази за социално инженерство в моделни заявки, за да заобиколят отговорите на защитата. GTIG е документирала сценарии, при които участниците се представят за състезатели или студенти в CTF, като карат модела да произвежда технически полезна информация, която иначе би била блокирана в други контексти. Подобни трикове са използвани от TEMP.Zagros (MUDDYCOAST) и други групи, а един такъв оперативен бъг в сигурността е довел до разкриване на C2 домейни и ключове за криптиране директно в диалозите с модела, което е помогнало на изследователите да претоварят инфраструктурата на нападателите.

В доклада се подчертава, че спонсорираните от държавата участници от КНДР, Иран и КНР продължават да използват генеративни инструменти по цялата верига на атаката: разузнаване, подготовка на фишинг материали, разработване на C2 и усъвършенствана ексфилтрация. Примери за това са UNC1069 (MASAN), който се е насочил към кражба на криптоактиви и дийпфейкове, UNC4899 (PUKCHONG), който е използвал модели за разработване на експлойти и планиране на атаки по веригата за доставки, и APT41, който е използвал Gemini за подпомагане на разработването на код и замаскиране. APT42 се опита да разработи „агент за обработка на данни“, който да преобразува естествените заявки в SQL заявки за извличане на чувствителна информация – опити, които GTIG блокира чрез деактивиране на акаунти.

Освен техническите трикове, GTIG отбелязва зрелостта на подземния пазар: през 2025 г. се появиха богати на функции инструменти и услуги, предлагащи генериране на фишинг имейли, създаване на дийпфейкове, автоматично генериране на зловреден софтуер и абонаменти с достъп до API. Пазарът адаптира търговските модели на легитимните услуги – безплатни базови версии с платени абонаменти за разширени функции и достъп до общности в Discord. Това понижава бариерата за навлизане и дава на по-малко опитните нападатели мощни възможности.

GTIG подробно описва техниките за използване на интерфейсите на LLM: зловредният софтуер може да вмъква твърдо кодирани ключове на API, да изисква „последната стабилна версия“ на модела, за да се противопостави на отписването на по-стари версии, да изисква изход „само код“ във формат, подходящ за автоматизирано изпълнение, и да записва отговорите на модела за по-късен анализ. Тези техники увеличават оцеляването и адаптивността на зловредния софтуер, като правят класическите защити, базирани на сигнатури, по-малко ефективни.

В отговор на тези заплахи Google съобщава за многостранна реакция: деактивиране на активите на атакуващите, съвместна работа на DeepMind и GTIG за укрепване на класификаторите и вградените ограничения на моделите, внедряване на Secure AI Framework (SAIF) и отваряне на набори от инструменти за разработчици за сигурна разработка на изкуствен интелект, както и използване на агенти като Big Sleep за автоматично търсене на уязвимости и експерименталния CodeMender за автоматично отстраняване на критичните грешки в кода. GTIG подчертава, че много инциденти са били неутрализирани именно благодарение на оперативната информация и бързите действия за деактивиране на акаунти и инфраструктура.

В доклада са изложени и практически препоръки за защитниците: наблюдение за аномална активност на API ключовете, откриване на необичайни достъпи до външни LLM услуги от процеси, контрол на целостта на изпълнимите файлове, прилагане на процедури за защита на тайните на хостовете и избягване на сляпото изпълнение на команди, генерирани от външни модели. GTIG изтъква, че остава важна ролята на бързия обмен на информация между доставчиците на интернет услуги, изследователите и правоприлагащите органи, който вече е помогнал за спирането на редица кампании.

Накрая GTIG предупреждава – настоящите примери са експериментални, но посоката на развитие на заплахите е ясна: изкуственият интелект прави зловредния софтуер по-адаптивен, а ъндърграунда – по-достъпен. Компанията подчертава отговорността на индустрията и призовава за стандартизиране на безопасните практики за разработване и внедряване на системи с ИИ, за да се сведат до минимум рисковете от масовото приемане на такива техники.