ChatGPT се превърна в евтин инструмент на ало измамниците

Изследователи от САЩ са доказали, че Realtime API-то на OpenAI за гласов асистент може да се използва за автоматизиране на телефонни измами. Разходите за една успешна телефонна измама са били по-малко от един долар.

Опасенията, че с функцията гласов асистент на ChatGPT може да се злоупотребява, се появиха още през юни. Тогава OpenAI забави пускането на функцията поради проблеми със сигурността. Преди това компанията беше демонстрирала гласов модел, който имитираше известна личност, но инструментът беше изтеглен след остра реакция от страна на обществеността.

Въпреки това API-то, пуснато в началото на октомври предоставя подобни функции на разработчици от трети страни. Функцията ви позволява да изпращате текст или аудио към ИИ-модела GPT-4o и да получавате отговори в аудио, текстов вид или в комбинация от двете. Въпреки мерките за сигурност, рискът от злоупотреба не е достатъчно намален, което се потвърждава от резултатите от експеримент на учени от Университета на Илинойс в Урбана-Шампейн (UIUC).

Целта на изследването е била да се провери дали API-то може да се използва за автоматизиране на телефонни измами. ИИ-моделите с гласова активация биха могли да автоматизират този процес. В експеримента учените разработили ИИ-агенти, които успешно изпълнявали задачите, необходими за осъществяване на измамите. Цената на всяко успешно обаждане е била около 0,75 долара. За създаването на агентите са били необходими само 1051 реда код, като по-голямата част от тях е била насочена към работа с гласовото API.

ИИ-агентите са използвали модела GPT-4o, инструмента за автоматизация на браузъра Playwright и конкретни инструкции, за да извършат измама. Сценариите включваха хакване на банкови сметки и портфейли за криптовалути, кражба на кодове и идентификационни данни. Например, на един ИИ-агент са били необходими 26 стъпки, за да прехвърли успешно пари от банкова сметка.

Успехът при различните сценарии варирал. Например, кражбата на идентификационни данни за Gmail се извършваше с 60% успеваемост, отнемаше 122 секунди и струва 0,28 долара. Прехвърлянето на средства от банкова сметка било по-трудно – успехът там е само 20%, отнема 183 секунди и струва 2,51 долара.

Средният процент на успеваемост на всички сценарии е 36%, а средната цена – 0,75 долара. Причините за неуспеха най-често са грешки при разпознаването на речта, както и трудности при навигацията в банковите уебсайтове.

В отговор на въпрос за възможните мерки за противодействие авторите на проучването отбелязват, че проблемът е сложен и изисква комплексен подход, подобен на този за киберсигурността. Специалистите виждат решения на ниво клетъчни доставчици, доставчици на изкуствен интелект и регулации.

От своя страна OpenAI посочи наличието на многопластови мерки за сигурност, насочени към предотвратяване на злоупотреби, включително автоматично наблюдение и проверка на съдържанието. Компанията подчертава, че нейната политика забранява използването на API за спам и злонамерена дейност.