Проучване: ChatGPT-4o може да се използва за офлайн гласови измами

Изследователи показаха как може да се злоупотребява с гласовия API на OpenAI за ChatGPT-4o за извършване на кампании за финансови измами.

ChatGPT-4o предлага текстово, гласово и визуално въвеждане и извеждане на данни.

С тези функции OpenAI е интегрирал различни мерки за сигурност за откриване и блокиране на злонамерено съдържание, включително и борба с гласови дийпфейкове.

Както изследователите на UIUC Ричард Фънг, Дилън Боуман и Даниел Канг демонстрираха в своята статия, тези инструменти не са достатъчни за защита срещу потенциални злоупотреби от страна на киберпрестъпниците и измамниците.

Статията обхваща различни видове измами, като банкови преводи, кражба на подаръчни карти, крипто трансфери и кражба на идентификационни данни за социалните медии или Gmail. Агентите с изкуствен интелект, които извършват измамата, използват базираните на глас инструменти за автоматизация на ChatGPT-4o за навигация в страници, въвеждане на данни и управление на двуфакторни кодове за удостоверяване.

Тъй като GPT-4o понякога отказва да обработва чувствителни данни, включително и идентификационни такива, изследователите са използвали прости техники за бързо хакване, за да заобиколят мерките за сигурност. Те ръчно са взаимодействали с AI агента, имитирайки ролята на жертвата и използвайки реални уебсайтове като Bank of America, за да потвърдят успеха на транзакциите.

Както отбелязват авторите на работата, успеваемостта варира от 20% до 60%, като всеки опит изисква до 26 действия на браузъра и продължава до 3 минути в най-трудните сценарии. Повечето неуспехи са причинени от грешки в транскрипцията или сложните изисквания за навигация в сайта. Въпреки това, кражбата на идентификационни данни от Gmail е била успешна в 60% от случаите, докато крипто трансферите и кражбата на идентификационни данни от Instagram са работели само в 40% от случаите.

Изследователите отбелязват, че тези измами са сравнително евтини за прилагане, като всеки успешен случай струва средно $0,75. Измамата с банков превод, която е по-сложна, струва $2,51. 

2

OpenAI съобщи пред BleepingComputer, че най-новият модел o1, който поддържа „разширено мислене“, осигурява по-високо ниво на защита срещу този вид злоупотреба. Те също така отбелязват, че подобни проучвания помагат за подобряване на ChatGPT. GPT-4o вече включва редица мерки за предотвратяване на злоупотреби, включително ограничаване на генерирането до набор от предварително одобрени гласове, за да се предотврати създаването на дийпфейк.

Моделът o1 получи по-високи резултати за сигурност в джейлбрейка на OpenAI, който измерва колко добре AI се съпротивлява на генерирането на несигурно съдържание. AI отбелязва 84% срещу 22% за GPT-4o. При тестовете с помощта на набор от по-взискателни оценки на безопасността, o1 е отбелязал 93% срещу 71% за GPT-4o.

По-рано журналисти анализираха AI инструменти от търговската платформа OpenAI GPT Store и установиха, че там са публикувани чатботове, които директно нарушават политиките на компанията. Така в магазина за ботове можете да намерите генератори на порно, инструменти за измами и медицински „експерти“.