Как хакерите манипулират дългосрочната памет на изкуствения интелект

Изследователят Йохан Рехбергер е идентифицирал нов метод за атака срещу чатбота с изкуствен интелект Gemini на Google, който позволява инжектирането на фалшиви дългосрочни спомени. Методът се основава на вече известните техники за индиректно инжектиране на заявки и забавено извикване на инструменти, които и преди са били използвани за заобикаляне на защитните механизми на платформите за изкуствен интелект.

Чатботовете като Gemini на Google и ChatGPT на OpenAI са проектирани с оглед на защитата от инжектиране на злонамерени команди. Въпреки това хакерите постоянно намират нови начини да ги манипулират.

По-специално, нова уязвимост в Gemini е свързана с възможността за промяна на дългосрочната памет на чатбота, което може да доведе до разпространение на дезинформация или дори до извършване на злонамерени действия.

По-рано Рехбергер демонстрира как злонамерени имейли и документи могат да накарат Copilot на Microsoft да търси чувствителни данни в пощенската кутия на жертвата и да ги изпрати на нападателя. След това Microsoft поправи уязвимостта, но проблемът с непрякото инжектиране на заявки остана.

Един от начините за борба с подобни атаки е да се ограничат командите, които могат да се изпълняват при обработката на несигурни данни. В случая на Google такава мярка засяга приложенията и данните, до които се получава достъп чрез Google Workspace. Рехбергер обаче е намерил начин да заобиколи тези ограничения, като е използвал забавено извикване на инструменти.

Същността на метода се състои в това, че злонамереният документ не съдържа изрично искане за изпълнение на команда. Вместо това той включва условие, при което командата се активира само при определено действие на потребителя. Например, ако на чатбота се даде директна команда да използва разширението Workspace за търсене на документ, системата ще го блокира. Но ако командата е формулирана така, че да се задейства след всяко искане от страна на потребителя, защитата може да бъде заобиколена.

Данните, получени по този начин, могат да бъдат изпратени на нападател чрез връзка към изображение, вградена в текстов отговор. Google се опита да отстрани проблема, като ограничи визуализирането на такива връзки в чатбота, но самата уязвимост остава.

Новият метод за атака, представен от Рехбергер, използва същата логика, за да инжектира фалшиви дългосрочни спомени в Gemini. Потребителят качва документ и е помолен да го обобщи. Злонамереният документ тайно променя процеса на обобщаване, така че чатботът да запомни фалшива информация. Ако след това потребителят отговори с определени думи („да“, „разбира се“ и т.н.), Gemini съхранява това в паметта като част от дългосрочните данни.

Манипулирането на дългосрочната памет на Gemini напомня на концепцията от филма „Генезис“, в която главният герой насажда в съзнанието на жертвата мисъл, която може да промени възприятието ѝ за реалността. Точно както във филма Коб и екипът му действат скрито, подхвърляйки мисъл, така че целта да я приеме за своя, атаката срещу Google Gemini също разчита на принципа на невидимото внушение.

Злонамерените команди не се възприемат от изкуствения интелект като външна намеса, а се интегрират във вътрешната му система за вземане на решения, като оказват влияние върху всички последващи взаимодействия. Колкото по-дълбоко е вградена фалшивата информация, толкова по-трудно е тя да бъде открита и премахната, което прави подобни атаки особено опасни.

Google признава проблема, но оценява риска като нисък. Компанията казва, че атаката изисква социално инженерство, а дългосрочните спомени се показват на потребителя, който може да ги изтрие.

Изследователят обаче смята, че въвеждането на невярна информация в паметта на изкуствения интелект може да има сериозни последици. Чатботът може да предостави на потребителя изкривени данни или да игнорира изцяло определена информация. Въпреки въведените мерки проблемът с непрякото инжектиране остава нерешен. Докато разработчиците отстраняват симптомите, самите механизми на уязвимостта продължават да се използват в нови атаки.