Способността на ИИ да разбира собствените си думи се доказа като „Потьомкин“

Учени от Масачузетския технологичен институт, Харвард и Чикагския университет предложиха термина „потьомкинско разбиране“, за да опишат несъответствието, открито в големите езикови ИИ модели, между правилните отговори на въпросите и невъзможността наистина да бъдат разбрани, за да се приложи тази информация на практика.

Терминът произлиза от вече дискредитираната легенда за „Потьомкинските села“: когато императрица Екатерина II посещава Крим през 1787 г., княз Григорий Потьомкин ѝ показва декори, за които твърди, че са истински села. „Потьомкинското мислене“ е различно от „халюцинациите“, при които изкуственият интелект уверено дава отговори, които очевидно не са верни — това е неспособността да се разбират понятията по начина, по който го прави човек. В тази ситуация моделът успешно преминава контролния тест, но не разбира понятията, свързани със собствения му отговор.

„Потьомкините са концептуалното знание, а халюцинациите са фактическото знание – халюцинациите измислят неверни факти; Потьомкините измислят неверни връзки между понятията“ — обясняват авторите своя термин. Изследването предоставя ясен пример. Моделът GPT-4o на OpenAI беше помолен да обясни схемата за кръстосано римуване ABAB – той даде правилния отговор, посочвайки редуващите се рими в първия и третия, както и във втория и четвъртия ред. Но когато беше помолен да попълни липсващата дума в четиристишие със схема за кръстосано римуване, той предложи опция, която не се римува правилно. Тоест, моделът правилно предсказа лексемите, за да обясни схемата ABAB, но не разбра собствения си отговор, за да възпроизведе тази схема на практика.

Коварната природа на провалите на Потьомкин е, че обезценяват показателите за изкуствен интелект. Моделите се тестват, за да се определи тяхната компетентност, но ако тестът измерва само тяхната производителност, а не способността им да прилагат материалите извън сценариите, върху които са били тествани, резултатите са безсмислени. Изследователите са разработили свои собствени показатели, за да оценят колко често срещани са провалите на Потьомкин, и те са били повсеместни в моделите, които са тествали: Llama-3.3 (70B), GPT-4o, Gemini-2.0 (Flash), Claude 3.5 (Sonnet), DeepSeek-V3, DeepSeek-R1m и Qwen2-VL (72B).

Един набор от тестове се фокусира върху литературните похвати, теория на игрите и психологическите пристрастия. Той установява, че моделите правилно идентифицират необходимите понятия (94,2%), но често не успяват да класифицират тези понятия (средно 55% процента на неуспех), да генерират примери (40% процент на неуспех) и да редактират илюстрации на описаните понятия (40%). Както при схемите за рими, те правилно обясняват литературните похвати, използвани в сонета на Шекспир, но срещат трудности с откриването, възпроизвеждането или редактирането на сонета.

„Съществуването на случаи на Потьомкин означава, че поведение, което би показвало разбиране при хората, не показва разбиране в големия езиков модел. Това означава, че или се нуждаем от нови начини за тестване на големите езикови модели, за да отговорим на същите въпроси, които се използват за тестване на хората, или да намерим начини да изключим това поведение в големия езиков модел“ — отбелязват учените.