Най-добрите AI модели се изравниха с хората в тестовете за умозаключения по аналогия

През изминалите няколко месеца настъпи едва доловима, но фундаментална промяна в развитието на изкуствения интелект: в поредица от задачи за аналогия големите езикови модели за първи път стабилно достигнаха точността на хората, като същевременно показаха, че мислят по различен начин. Екип от Университета Браун и Университета Макуори проведе серия от тестове, в които участниците от човешкия и изкуствения интелект бяха помолени да изведат скрито правило за съответствие между думите и абстрактните символи и след това да прехвърлят това правило към нови примери. Резултатите бяха нееднозначни: Claude 3, GPT-4 и Llama-405B често показваха точност на нивото на човешката, но се препъваха на места, където хората лесно могат да променят стратегията си в движение. Така въпросът „умен ли е изкуственият интелект?“ се промени на по-точния „умен – но по различен начин“.

Статията в Journal of Memory and Language се фокусира върху два типа задачи – за „семантична структура“ и „семантично съдържание“. При първата на изследваните лица са показани двойки като „square⇒ CCC“ и „circle⇒ CC“ и след това са помолени да продължат аналогията за „oval“. За да се отговори правилно, трябва да се схване, че „правоъгълник“ е издължен квадрат, „овал“ е издължен кръг и следователно преходът от главни към малки букви кодира самата операция „издължаване“.

При втория тип правилата са скрити по-дълбоко: например видът на символа („*“ или „!“) съответства на една характеристика (да речем „бозайник/небозайник“), а дължината на веригата – на друга (брой крака). Тук участникът не трябва да подбира асоциацията, а да преструктурира вътрешното представяне и да прехвърли изведеното правило в нов контекст – това, което когнитивната психология описва като „гъвкава репрезентация“. При такива материали усъвършенстваните модели често показват ниво на изводи, което е толкова добро, колкото и при хората, особено във варианти със „съдържание“.

Но само малко се променя обстановката – и картината се променя. Когато изследователите просто разбъркали реда на обучаващите двойки, производителността на моделите рязко спаднала; при хората тази манипулация почти не се отразила. ИИ се оказа още по-чувствителен към „шума“: добавянето на несъществени думи не пречи на хората, но намалява точността на машините, сякаш те се опитват да „закрепят“ допълнителни елементи към намереното правило.

Оттук и предпазливото заключение на авторите: съвременните LLM демонстрират способност за аналогия – тя може наистина да произтича от масово статистическо обучение – но механизмите им очевидно не са същите като човешките. Равенството в точността не означава еквивалентност на процеса.

Силата на работата е в твърдото изолиране на новаторството. Задачите са подредени така, че да изключват баналното запомняне на формата „видяно-повторено“, от което особено се страхуват критиците на LLM. Този подход продължава линията на по-ранни наблюдения: още през 2023 г. групата на Тейлър Уеб регистрира „нововъзникващите“ успехи на GPT-¾ в абстрактните аналогии, но въпросът за дълбочината на тези способности остава открит. Новата серия от тестове отива по-далеч: тя не само проверява отговора, но и „дърпа конците“ – реда на примерите, разсейването, прехвърлянето между областите – и вижда къде точно е разкъсана тъканта на разсъжденията.

На този фон свързаните с темата области станаха забележимо по-активни. Изследователи от Станфорд предложиха техниката analogical prompting – да се предлага на моделите решение чрез самостоятелно генериране на подходящи аналогии – при редица задачи това повишава ефективността и на практика имитира човешкото търсене на подобни случаи в паметта. Успоредно с това нараства броят на работите, които показват, че с увеличаване на мащаба моделите започват да възпроизвеждат човешките когнитивни илюзии: те стават по-силни в абстракциите, но са склонни към „интуитивни“ грешки. Всичко това подчертава хибридния характер на разсъжденията по LLM – на пресечната точка на статистиката и символиката.

Практическите последици от тази на пръв поглед академична дискусия са съвсем осезаеми. Ако един модел наистина е способен да пренася изведени правила в нови контексти, той се превръща не просто в инструмент за писане или рутинно програмиране на код, а в средство за поставяне на научни хипотези, намиране на нетривиални инженерни решения и проектиране на материали и устройства. За това обаче са необходими правилните „учебници“ – дизайнери на задачи, които наказват слабите, повърхностни стратегии и насърчават истинското пренасяне.

Вече се появяват наченки на „възпитание чрез аналогии“ – от специфични схеми за подсказване до процедури за избор на примери – и именно те могат да превърнат еднократните успехи в повтарящи се работни процеси.

Налице е и очевиден етичен извод. Уязвимостта на моделите към входните пермутации и ирелевантния шум в реалните задачи – от правния анализ до медицината – заплашва с грешки от класа на „убедително, но погрешно“. Ето защо се утвърждава принципът на надзор, ориентиран към човека: нека ИИ изгради трансфера и да предложи алтернативи, но крайната оценка се оставя на експерт, който разбира как точно разсъжденията биха могли да се „провалят“.

Междувременно самата идея за „аналогията като сърцевина на общия интелект“ излиза извън рамките на когнитивната психология и мигрира в инженерните спецификации. Най-новите рецензии наричат аналогиите „умението от край до край“ на бъдещите системи за AGI – онзи мост, който свързва ученето от минали данни със създаването на правила за ситуации, които не са съществували в данните. Новите резултати показват: мостът наистина се изгражда, но от различен материал и с различна разчетна схема от тази на хората.