Генеративният ИИ тотално се проваля в тази обичайна способност на човешката мисъл

GPT-3.5 и GPT-4 на OpenAI не успяват да се справят с все по-големите нива на тази базова компютърна задача. А това показва за допуснат фундаментален пропуск в техния замисъл.

Известните кукли „матрьошка“, при които във всяка кукла е вложена друга кукла, и още една, и още една, са класически пример за принципа на рекурсията, при който нещото съдържа самото себе си. Хората веднага разпознават такива примери за рекурсия, но генеративният изкуствен интелект не притежава никакво понятие за нея.

Едно от най-изтънчените понятия, които хората разбират напълно интуитивно, е понятието за рекурсия. В този случай дадено нещо е своеобразно повторение на самото себе си, простиращо се до безкрайност. Всеки „филм във филма“ може да бъде пример за рекурсия. Известните руски кукли Матрьошка, при които всяка дървена кукла се отваря, за да разкрие същата по-малка кукла, са очарователен пример за рекурсия.

Снимката на самия себе си, на която държите снимка на самия себе си. И така до безкрай, е класическа рекурсивна визуална фантазия, която предизвиква възхищение сред всички.

Но според учени от Университета на Илинойс в Урбана-Шампейн програмите в областта на изкуствения интелект, включително генеративните програми за изкуствен интелект като ChatGPT, не могат да се справят с рекурсията. Поне не и устойчиво. Невъзможността за справяне с рекурсията затруднява изпълнението на задачите от изкуствения интелект. По-конкретно, ИИ се проваля при задачите за програмиране, при които някаква част от кода повтаря по-малка, атомарна версия на същия код.

„Така например моделите, обучени за решаване на задачи по програмиране, могат погрешно да разберат програмите с вложени блокове или да генерират небалансирани скоби“, според водещия автор Шиджуо Дилън Джан от Университета на Илинойс и колегите му.

Те са описали това явление в статията „Transformer-Based Models Are Not Yet Perfect At Learning to Emulate Structural Recursion“. Тя е публикувана в arXiv.

За да проучат как така генеративният ИИ се затруднява от рекурсията, авторите разработват опростен тест за големи езикови модели (LLM). Може ли един LLM да създаде описание на модела на рекурсия в кода, като например рекурсивното събиране на числа?

Жанг и екипът избират класическа задача за програмиране, наричана обхождане на дърво. Определен тип данни в изчислителната техника се нарича дървовиден тип, ако има разклоняващи се участъци, които водят до по-нататъшни разклонения. Тоест, това е вид дърво, което съдържа още дървета. Да се „обходи“ това дърво означава да се провери всяка част от дървото в точно определен ред.

В езиковия модел – в този случай GPT-3.5 „Turbo“ и GPT-4 (най-мощните модели на OpenAI) – те въвеждат подкана, която съдържа формулировката на проблема. Това е пример за обхождане на дърво и инструкция за извършване на самото обхождане на дървото. Резултатът от GPT трябва да бъде решението на обхождането на дърво. Както и обяснение на правилото, използвано за извършване на това обхождане.

Те откриват, че ИИ програмите започват да се провалят при решаването на обхождането. Това се случва, когато дървото става по-голямо, или казано на компютърен език – има по-голяма дълбочина.

„Производителността на големите езикови модели показва значителен спад с увеличаване на дълбочината на дървото, което корелира с нарастването на сложността и броя на необходимите стъпки за редукция“, пишат те.

Качественият анализ, според тях, разкрива, че езиковите модели не могат да извършат правилната „редукция“. Тоест да заменят някой елемент в дървото с рекурсивния елемент, който то съдържа, за да продължат успешно обхождането.

„Този тип грешка подчертава предизвикателствата, с които се сблъскват LLM при поддържането на алгоритмичната последователност върху разширени секвенции, особено когато задачата изисква спазването на точен ред на операциите“, пишат те.

Не само че LLM не успяват да решат правилно някои обходи, но ИИ програмите не успяват да обяснят, при даден пример в подсказката, какво е правилото, което може да се използва за успешния обход.

„LLM се борят да намерят верните правила от примерите в контекста“, пишат Джан и екипът. „И се провалят по доста интересни начини, когато извършват поетапно редуциране в контекста“.

Какво означава това? Че ИИ програмите не могат да се справят с рекурсията?

От една страна, липсата на способност да се работи с рекурсия говори за липса на логика, пишат Жанг и неговия екип.

„Извършването на всяка стъпка на редуциране при обхождане на дървото изисква по-сложни логически разсъждения“. Но това просто не е заложено в програмите.

Въпреки това, дори хора, които нямат много добри познания по формална логика, могат веднага да оценят вида рекурсия, която се появява в типа „филм във филма“, „огледало срещу огледало“ и други примери.

Авторите на този научен труд предлагат на едно много по-опростено ниво да се преосмисли дизайнът на GPT от техните създатели.

„Предполагаме, че основната причина за неуспехите е, че моделът не е оптимизиран да представя достатъчно добре рекурсивните модели“, пишат те. „Нашите експерименти за учене в контекст разкриха липсата на кâквато и да е способност на LLM да „мисли рекурсивно“. Тъй като той е склонен да извлича нерекурсивни правила от данните.

„Също така на моделите им липсва точност при извършване на поетапно редуциране, при което те могат да се изгубят някъде по средата. Или да не успеят да приложат условието за прекъсване на рекурсията“.

В проучването не са включени всички начини, по които неспособността да се справя с рекурсията може да попречи на работата на генêративния AI с различни задачи. От писане на есета до компютърно програмиране. Вярно е, че, както отбелязват Джан и екипът, програмите могат да компенсират това до известна степен с малки трикове, които те бързо усвояват.

И все пак рекурсията е толкова фундаментално явление, че в даден момент липсата ѝ със сигурност ще има последствия в сферата на изкуствения интелект.