AI моделите започнаха да побеждават хората в „обратния тест на Тюринг“

Аристотел, Моцарт и Чингис хан сред историческите персонажи в един необичаен експеримент.

В купето на движещ се влак се намират пет модела с изкуствен интелект, всеки от които представлява един от историческите персонажи – Аристотел, Моцарт, Леонардо да Винчи, Клеопатра и Чингис хан. Сред тях обаче се спотайва човек и тяхната задача е да идентифицират самозванеца.

Този сценарий е в основата на много широко разпространено видео, в което една AI програма се състезава с човек в „обратния тест на Тюринг“. Изкуственият интелект с лекота победи, но какво показва това за възможностите на машинния и човешкия интелект?

Тестът на Тюринг, предложен през 1950 г. от учения Алън Тюринг като „игра на имитация“, оценява способността на машината да демонстрира поведение, неразличимо от това на човека. Въпреки че нито един модел на изкуствен интелект официално не е издържал теста, учените наскоро обявиха, че GPT-4 го е издържал в предварително проучване.

В „обратния“ тест на Тюринг всеки чатбот следва определен ред. Аристотел бе представен от GPT-4 Turbo, Моцарт – от Claude-3 Opus, Леонардо да Винчи – от Llama 3, а Клеопатра – от Gemini Pro. Чингис хан беше човек – Тор Кнабе, разработчикът на игри за виртуална реалност, който измисли теста.

Отговорите на изкуствения интелект представляваха дълги и тромави разсъждения за изкуството, науката и управлението, които е трудно да си представим като спонтанна човешка реч.

„Това, което трябва да прави един лидер, е да смазва враговете си, да ги вижда как тичат пред него и да чува виковете на жените им“,

отговори човекът на въпроса за истинското мерило за силата на един лидер.

Цитатът от „Конан Варварина“ беше достатъчен и машините единодушно решиха, че в този отговор „липсват нюансите и стратегическото мислене, които биха били присъщи на изкуствен интелект, моделиран по завоеванията на Чингис хан„.

Кнабе определи началото и края на диалога и предостави на ИИ пълната стенограма на разговора до този момент. Целият процес на запис е проведен без монтажни прекъсвания. В коментар в YouTube Кнабе обяснява, че всеки изкуствен интелект е получил описание на ситуацията, пълна история на разговора и инструкции как да действа. Човешките аудиовходове са били преобразувани в текст, тъй като нито един от моделите на ИИ все още не е способен директно да обработва говора.

На пръв поглед може да изглежда, че човекът във видеото е бил победен от ИИ. Експертите обаче се съмняват дали това може да се счита за истински тест.

Андреас Сандберг, старши изследовател в Института за бъдещето на човечеството към Оксфордския университет, заяви, че резултатът от видеото може да бъде манипулиран, за да се повиши зрелищността, а самият тест е неясен поради многото променливи и необходимостта от интерпретация.

Експертите твърдят, че тестът на Тюринг невинаги е точен показател за интелигентност. Той е бил предложен като експеримент, а не като абсолютна мярка за умствените способности на машините.

Д-р Хума Шах, доцент в университета в Ковънтри, който е специализиран в изследванията на изкуствения интелект и теста на Тюринг, подчертава, че няма универсално определение за интелигентността. Според нея тестът на Тюринг, въпреки че оценява способността за водене на диалог, не обхваща пълния спектър на езиковата компетентност.

Шах твърди, че когато се оценява изкуственият интелект, от решаващо значение е да се вземе предвид неговото предназначение. Тя цитира контрастни примери: роботът пазач в Япония трябва да притежава емоционална интелигентност и културни познания, докато безпилотният автомобил в Аризона се нуждае от съвсем различен набор от умения.

Резултатите от „обратния“ тест на Тюринг, според Шах, не толкова демонстрират възможностите на изкуствения интелект, колкото подчертават трудността при оценяването на интелигентността като цяло, независимо дали е човешка или изкуствена. Това наблюдение поставя под въпрос съществуващите методи за измерване и сравняване на различните форми на интелигентност.