Тюринг би се изненадал: ИИ заблуждава хората в 73% от диалозите

За първи път от 75 години насам изкуственият интелект премина успешно теста за човечност.

Изследователи от Калифорнийския университет в Сан Диего проведоха мащабен тест, в резултат на който два съвременни езикови модела – GPT-4.5 и LLaMa-3.1-405B – успешно преминаха класическия тест на Тюринг, като заблудиха хората и ги накараха да повярват, че общуват с човек.

При експеримента е използван тристранен формат на теста: човешки събеседник общува едновременно с двама участници – истински човек и изкуствен интелект – и след това трябва да определи кой кой е. Изследването е проведено върху две независими групи доброволци – университетски студенти и участници в платформата Prolific.

Резултатите са поразителни – GPT-4.5, настроен да имитира човек, в 73% от случаите (!) е приеман за жив събеседник, като превъзхожда реалните човешки участници. Моделът LLaMa-3.1 със същата настройка успява да убеди събеседниците си в своята човечност в 56% от случаите, почти толкова добре, колкото и реалните хора.

Основните модели без специална настройка за „човечност“ показаха много по-лоши резултати. GPT-4o и ранната програма ELIZA бяха разпознати като изкуствени в повечето случаи, като процентът на успеваемост беше съответно само 21% и 23%.

Изследването за първи път от 75-годишното съществуване на теста на Тюринг показва, че изкуствените системи могат да преминат този класически тест за интелигентност. Алън Тюринг го предлага през 1950 г. като начин да се определи дали машините могат да демонстрират разумно поведение, неразличимо от човешкото.

Интересно е, че само 12% от участниците са тествали своите събеседници за знания или логика – това, което традиционно се счита за признак на интелигентност. Повечето от тях са разглеждали социалните, емоционалните и културните аспекти на общуването, като например естествеността на езика или наличието на личностни качества.

Съвременните модели се оказаха способни не само да водят диалог като живи събеседници, но и да го правят по-убедително от самите хора. Изследователите отбелязват, че за да успеят, моделите е трябвало да бъдат настроени към конкретен образ – млад, сравнително интровертен човек, който се интересува от интернет културата.

Резултатите имат важни практически последици. Те показват, че днешните публично достъпни езикови модели могат дискретно да заместят хората в сравнително краткотрайните разговори. Тези системи имат потенциала да автоматизират работата, която изисква кратки човешки взаимодействия, или да имитират социални взаимоотношения – от случайни разговори с непознати до разговори с приятели, колеги и дори романтични партньори.

Авторите на проучването предупреждават за възможни отрицателни последици. „Фалшивите хора“ – системи, които могат убедително да имитират хората – представляват риск, тъй като могат да бъдат използвани за манипулация, разпространение на дезинформация и социално инженерство. Хората могат да прекарват все повече време с тези имитации на човешко взаимодействие, което потенциално може да обезцени истинските човешки взаимоотношения.

Проучването установи също, че способността за разпознаване на ИИ е почти идентична при различните групи хора – дори тези, които ежедневно работят с езикови модели, не се справят много по-добре. Въпреки това някои стратегии, като например опитите за „хакване“ на модела, са се оказали по-ефективни.

Тестът на Тюринг не е статична оценка – резултатите от него неизбежно са свързани с променящите се възприятия на хората както за машините, така и за самите тях. Тъй като машините стават все по-добри в имитирането на нашето поведение, разликите между нас може да станат по-значими.

„Въпреки че сега за първи път машина премина теста на Тюринг, това не е последният път, когато хората ще имат възможност да успеят в него“, заключават учените.

Те предполагат, че можем да се научим да ставаме все по-добри в забелязването на фините признаци, които ни правят уникално човечни.