Създаденият от ИИ виртуален аватар заобикаля защитата на банката и заблуждава роднините

Колумнистът на Wall Street Journal Джоана Стърн (Joanna Stern) се опита да разбере колко естествен може да бъде цифровият аватар на човек, създаден с помощта на подобрени алгоритми, базирани на генеративен ИИ. Резултатът от експеримента се оказал плашещ, тъй като Джоана се сдоби със собствен цифров клонинг, който успял да заблуди близките ѝ и да измами системата за гласова идентификация на банката.

За да създаде виртуален аватар, Джоана използва инструмента Synthesia, който е позициониран от разработчиците като услуга за създаване на видео-аватари, на основата на видео и аудио записи от реални хора. След като създаде аватар, потребителят може да въведе всеки текст, който виртуалният клонинг послушно повтаря. Изходният материал за обучението на алгоритъма е бил 30 минути видео и около два часа аудио записи на гласа на Джоана.

Стартъпът Synthesia таксува $1000 на година за създаване и поддържане на виртуален аватар и взема допълнителна месечна такса на потребителите. Няколко седмици по-късно цифровият клонинг на журналиста е готов, след което започват тестовете му. Джоана генерира с помощта на ChatGPT текст за TikTok-видео и го качва в Synthesia, след което аватарът създал готовия видеоклип. В нея се създало впечатлението, че се гледа в огледалото и вижда собственото си отражение.

На този етап обаче технологията не е напълно перфектна. Ако аватарът изглежда достатъчно убедителен при възпроизвеждане на кратки изречения, тогава по-дългите фрази показват, че не са изречени от човек. Въпреки факта, че не всички потребители са внимателни в TikTok, някои от абонатите са забелязали, че видеоклипът, създаден с помощта на виртуален аватар, изглежда неестествен.

Подобен проблем беше възникнал и при опита за използване на цифров аватар по време на видео-разговори в Google Meet. Заради лошото качество на възпроизвеждане на дългите изречения, аватарът поддържа идеална поза през цялото време и практически не се движи. Въпреки това става ясно, че видео-аватарът в близко бъдеще само ще се подобрява, тъй като вече има няколко бета-версии в разработката на Synthesia, които могат да кимат с глава, да повдигат и спускат вежди и да изпълняват някои други човешки движения.

След проверката на възможностите на видео-аватара, Джоана решила да изпробва гласовия клонинг, създаден с помощта на генеративния ИИ-алгоритъм ElevenLabs. На потребителя му отнело около 90 минути за създаване на гласовите записи, качването им в услугата, а за по-малко от две минути гласовият клонинг бил готов. Аудио-аватарът може да възпроизвежда произволен текст с гласа на потребителя. За създаване на гласов клонинг ElevenLabs таксува от $5 на месец.

В сравнение с видео-аватара на Synthesia, аудио-клонингът изглежда повече като истински човек. Той добавя интонация към речта и възпроизвеждането на самия текст става по-плавно. Първо, Джоана се обадила на сестра си и използвала гласовия клонинг, за да общува с нея. Отбелязва се, че сестрата не забелязала веднага уловката, но след известно време ѝ направило впечатление, че при разговора гласовият клонинг не прави пауза, за да си поеме дъх. След това последвало обаждане до бащата с молба да напомни ЕГН-то. Той успял да види уловката, защото гласът на Джоана звучал като на запис. Въпреки това, близките на журналиста не забелязали веднага, че не общуват с жив човек и измамата  не продължила дълго време.

Друго обаждане било направено до поддръжката на Chase Bank. Преди това, на алгоритъма са били зададени няколко въпроса, на които е трябвало да се отговори в процеса на гласовата идентификация на банката. След кратък разговор, Джоана е била свързана с представител на банката, тъй като системата за гласова идентификация не открила проблеми. Говорителят на Chase по-късно казал, че банката използва гласова идентификация заедно с други инструменти за проверка на самоличността на клиента, отбелязвайки, че гласовата идентификация позволява общуване със служител от поддръжката, но не може да се използва за извършване на транзакция или друга операция.

Гласът, генериран от услугата ElevenLabs, се оказал максимално подобен на гласа на Джоана. Той взел предвид интонацията и други характеристики на речта. Любопитното в случая е, че за да създадете такъв гласов клонинг, е достатъчно да качите няколко аудиозаписа в услугата и да се съгласите с правилата на платформата, които гласят, че потребителят се задължава да не използва алгоритъма за измамни цели. Това означава, че всеки може лесно да генерира гласа на някой от своите приятели или знаменитости.

Представител на ElevenLabs казва, че компанията позволява само на притежателите на платени акаунти да клонират гласовете си. В случай на нарушаване на политиката на платформата, потребителският акаунт ще бъде блокиран. В допълнение, разработчиците планират да пуснат услуга, която ще ви позволи да качите всяко аудио, за да проверите дали алгоритъмът на ElevenLabs е използван при създаването му. Отбелязва се, че разработчиците могат да идентифицират цялото генерирано от потребителите съдържание, за да го филтрират или да приложат други мерки към нарушителите, включително и сътрудничество с правоприлагащите органи.

Джоана отбелязва, че всеки от използваните от нея алгоритми все още не може да направи копие, което да е неразличимо от оригинала. ChatGPT генерира текст, без да разчита на знанията и опита на журналиста. Услугата Synthesia създаде аватар, който, въпреки че изглежда като човек, не може да предаде всички характерни черти на потребителя. И накрая, системата ElevenLabs генерира много подобна реч, но тя също не е перфектна. В бъдеще, ИИ-технологиите ще продължат да се развиват и вероятно с времето ще става само по-трудно да се различи виртуалният аватар от реалния човек в процеса на комуникацията.