Злите близнаци на ChatGPT срещу 100 евро – сега всеки може да стане киберпрестъпник

Според доклад на Cato Networks, киберпрестъпниците продължават активно да използват големи езикови модели (LLM) в своите атаки. По-специално става дума за версии на AI моделите Grok и Mixtral, които са умишлено модифицирани, за да заобикалят вградените ограничения и да генерират злонамерено съдържание.

Оказва се, че една от тези модифицирани версии на Grok се е появила в популярния даркнет форум BreachForums още през февруари. Тя е била публикувана от потребител под псевдонима keanu. Инструментът представлява обвивка на оригиналния AI модел на Grok и се управлява от специално написан системен команден ред. Авторите го използват, за да накарат AI модела да игнорира механизмите за сигурност и да генерира фишинг имейли, зловреден код и инструкции за хакване.

В BreachForums е открит и втори модифициран модел, базиран на Mixtral, продукт на френската компания Mistral AI. Той е публикуван от друг потребител на форума под псевдонима xzin0vich през октомври миналата година. И двата AI модела са достъпни за закупуване от всеки в даркнет.

Струва си да се отбележи, че нито xAI, нито Mistral AI са коментирали официално как техните проекти са попаднали в ръцете на киберпрестъпниците.

Според Cato Networks подобни модификации не са уязвимост в самите AI модели Grok или Mistral. Става въпрос за злоупотреба с принципа, който определя поведението на дадена невронна мрежа. Когато атакуващият изпрати своята заявка, тя става част от общия диалог с AI модела, включително и от самата подкана, която задава инструкциите за заобикаляне на ограниченията.

Експертите подчертаха, че има все повече такива „отключени“ версии. Около тях постепенно се формират цели сенчести екосистеми, базирани предимно на LLM с отворен код. С тяхна помощ киберпрестъпниците получават достъп до мощни инструменти, които значително улесняват създаването на сценарии за фишинг, зловреден софтуер и други атаки.

Това, което прави борбата с тази тенденция особено трудна е фактът, че Mixtral се разпространява като AI модел с изцяло отворен код. Това позволява на нападателите да го стартират на собствените си сървъри и да отворят API достъп до него за други участници в даркнет. Продуктите, базирани на Grok теоретично се контролират от самата xAI, но дори и тук проследяването и блокирането на злоупотребите се превръща в игра на котка и мишка.

Ситуацията се усложнява от факта, че подобни инструменти отдавна са излезли извън рамките на локалното изграждане.

Първите версии на такива продукти, известни като WormGPT се повявиха в даркнет още през юни 2023 година. По това време генеративният изкуствен интелект, базиран на АИ модели с отворен код от EleutherAI бързо стана известен след разследване на журналиста Брайън Кребс. Въпреки факта, че оригиналната версия скоро беше блокирана, нейните аналози с имена като FraudGPT и EvilGPT се разпространиха масово в даркнет форумите.

Цените на такива инструменти варират от 60 до 100 евро на месец, като частните разработки и персонализации струват около 5000 евро.

Според Cato Networks киберпрестъпниците все по-често наемат специалисти по изкуствен интелект, за да създават свои версии на такива AI модели. Както показва проучването, често става въпрос за модифициране на съществуващи невронни мрежи, а не за разработването им от нулата.

Експертите от бранша отбелязват, че пазарът на „отключени“ LLM е огромен. Стотици такива модели вече са налични в даркнет, включително и такива, базирани на DeepSeek. Основната техника, използвана от нападателите, е манипулиране на подсказките. Исторически препратки, умело перифразиране или скрити конструкции помагат да се заблуди AI, за да генерира злонамерено съдържание. Основната заплаха се крие не толкова в техническите уязвимости, колкото в това колко бързо престъпниците се научават да използват AI, за да направят атаките по-ефективни, ускорявайки подготовката и точността на тяхното изпълнение.

Според експертите настоящите мерки за защита са очевидно недостатъчни. Нещо повече, в даркнет форумите вече се наблюдава раждането на модела „jailbreak като услуга“, където могат да се получат готови хакнати невронни мрежи, без да е необходимо да се разбират техническите подробности.