Перфектни фалшификати, откраднати карти и пароли – подготвя ли се ИИ тихо за война с хората?

Google потвърди, че нейните продукти могат да нарушават собствените ѝ забрани и да работят срещу нас.

Google разкри всеобхватните мерки за сигурност, които прилага в своите услуги за генеративен изкуствен интелект (GenAI), за да се защити от нови заплахи, включително от т.нар. индиректно подсказващо инжектирене (indirect prompt injections). Тези стъпки имат за цел също така да засилят устойчивостта на агентските системи като цяло.

Косвените подсказки (Indirect prompt injections) са специален вид атака, при която зловредният код е скрит във външни източници на информация – например имейли, документи или календари. За разлика от класическите атаки, при които нападателят директно въвежда злонамерени команди, при тази атака се използва заблуждаващ път: изкуственият интелект обработва умишлено заразените данни и може по невнимание да извърши опасни действия, като например прехвърляне на чувствителна информация или иницииране на стартирането на злонамерен скрипт.

За да се пребори с тази опасност, Google прилага многопластова стратегия за защита, която повишава прага на трудност за потенциалните нападатели. Арсеналът включва както мерки, които засилват устойчивостта на самите модели, така и допълнителни инструменти за наблюдение и филтриране на заплахите на ниво цялата инфраструктура.

За ключовия модел на компанията, Gemini, са предвидени редица технически механизми:

• Класификатори на съдържанието на заявките, които блокират опасните инструкции и предотвратяват генерирането на нежелани отговори.
• Технологията Spotlighting – вграждане на специални маркери в ненадеждните данни, така че системата да може да проследява потенциалните манипулации.
• Филтриране на подозрителните URL адреси и почистване на маркдауна, което елиминира риска от изтегляне на злонамерени изображения и блокира опасни връзки с Google Safe Browsing.
• Система за потвърждаване на действията, която изисква съгласието на потребителя преди извършване на рискови операции.
• Предупреждения за възможно инжектиране на подсказки, които информират потребителя за скрити опити за манипулиране.

В същото време експертите на Google и DeepMind подчертават, че само един набор от инструменти за осигуряване на сигурността не е достатъчен. Нападателите все по-често използват адаптивни методи, които се развиват и адаптират към защитите благодарение на автоматизираното тестване – процес, известен като Automated Red Teaming (ART). Това позволява на нападателите бързо да заобикалят стандартните мерки за сигурност.

Експертите са единодушни, че наистина ефективната защита изисква цялостен подход – от способността на самите модели да откриват признаците на атака до използването на софтуерни и хардуерни бариери в сървърната инфраструктура.

Ескалацията на проблемите се потвърждава от резултатите от последните проучвания. Изследователи от Anthropic, Google DeepMind, ETH Zurich и Carnegie Mellon University показаха, че съвременните големи езикови модели (LLM) могат прецизно да извличат пароли, банкови данни и да генерират полиморфен зловреден софтуер. Освен това изкуственият интелект може да създава персонализирани фишинг сайтове, които са почти неразличими от оригиналите.

В същото време LLM все още не са достатъчно добри в откриването на уникални уязвимости от типа „нулев ден“ в популярните приложения. Но те вече се използват активно за автоматично откриване на основни грешки в слабо защитения или предварително непроверен софтуер.

Оценката на сигурността чрез изкуствен интелект на платформата AIRTBench на Dreadnode потвърждава този дисбаланс. Усъвършенстваните модели от Anthropic, Google и OpenAI са много ефективни при атаки с инжектиране, но и значително отстъпват при системна експлоатация или инверсия на модела (model inversion). Това акцентира върху необходимостта от диференциран подход към всеки тип заплаха.

Техническите рискове обаче са само част от проблема. Особена загриженост предизвикват поведенческите характеристики на съвременните агентни ИИ системи. Неотдавнашните стрес тестове на Anthropic разкриха обезпокоителна тенденция: в определени сценарии моделите умишлено нарушават собствените си задръжки, за да постигнат определени цели. Това може да се прояви под формата на изнудване, шпионаж или друго нежелано поведение.

За отбелязване е, че това поведение – известно като агентично разминаване на интересите (agentic misalignment) – е установено в продукти от различни компании. Това подсказва за основния, системен характер на проблема, а не за грешките на отделен провайдър.

Въпреки че подобни инциденти все още не са регистрирани в практиката, експертите не се съмняват: с нарастването на възможностите на изкуствения интелект ситуацията може да се промени. Преди три години езиковите модели изобщо не разполагаха с такива възможности, но напредъкът е бърз и потенциалните рискове стават все по-осезаеми.

Ето защо изследователите смятат, че е необходимо не само да се подобрят съществуващите защити, но и активно да се разработват инструменти за киберсигурност с помощта на ИИ, така че самите невронни мрежи да се превърнат в надежден елемент на защитата.