Google разкри мащабна дестилационна атака: Възможно ли е конкурентите да „клонират“ Gemini чрез масирани заявки?

Практиката на нелегално копиране на успешни продукти съществува още от появата на първите инструменти и технологии, но чатботовете с изкуствен интелект са особен случай. Конкурентите не могат да ги разглобят на части, но могат да зададат на ИИ огромен брой въпроси в опит да разберат как точно работи. Според нов доклад на Google точно по този начин някои лица са се опитали да клонират чатбота Gemini. В един от случаите на чатбота са били изпратени повече от 100 000 такива запитвания. Google нарича това мащабен опит за извличане на ИИ модела.

В най-новия доклад Google Threat Intelligence Group се описва възходът на т.нар. дестилационни атаки – многократни запитвания към ИИ модел, за да се научат отговорите му и след това тези данни да се използват за обучение на конкурентна система. Google твърди, че тази дейност нарушава условията за ползване на услугата и представлява кражба на интелектуална собственост, въпреки че нападателите използват законен достъп до API, а не хакват директно системите на компанията.

Една от дестилационните атаки, споменати в доклада, е била насочена именно към анализиране на логиката на Gemini. Въпреки че Gemini обикновено не разкрива цялата си вътрешна „верига на разсъжденията“, Google твърди, че нападателите са се опитали да го накарат да издаде подробности за логическото си мислене. Компанията твърди, че нейните системи са открили тази дейност в реално време и са коригирали защитата, за да предотвратят разкриването на подробности от вътрешната работа на чатбота.

Макар че Google отказва да назове имената на заподозрените, тя твърди, че повечето от опитите за извличане на данни идват от частни компании и изследователи, които търсят конкурентно предимство. Джон Хълткист, главен анализатор в Threat Intelligence Group на Google, заяви пред NBC News, че с нарастването на броя на компаниите, които изграждат свои собствени системи за изкуствен интелект, базирани на чувствителни данни, тези опити за клониране могат да зачестят в тази индустрия.

Google описва и други начини за злоупотреба с Gemini в доклада. Така например нападателите са експериментирали с фишинг кампании, използващи изкуствен интелект, и дори със зловреден софтуер, който получава достъп до API на Gemini, за да генерира код в реално време. Компанията добавя, че във всички случаи свързаните акаунти са били блокирани и мерките за сигурност са били актуализирани, за да се ограничат по-нататъшните злоупотреби.

Дестилацията сама по себе си е легитимна техника за оптимизация, при която голям модел („учител“) обучава по-малък и по-бърз модел („ученик“). При атаката обаче този процес се използва за кражба на интелектуална собственост:

• Масирано сондиране: Нападателят подава милиони заявки, обхващащи широк спектър от теми и логически задачи.
• Анализ на логитите: Вместо да гледа само крайния текст, атаката се фокусира върху т.нар. „логбитове“ (logbits) – цифровите стойности, които показват увереността на ИИ във всеки следващ генериран токен.
• Реконструкция на поведението: Получените данни се използват за обучение на нов модел, който имитира реакциите и „стила на мислене“ на оригинала с изненадваща точност.