Проучване на Apple показа, че ИИ моделите не мислят, а само имитират мислене

Изследователи на Apple констатираха, че големите езикови модели, като ChatGPT, не са способни на логическо мислене и могат лесно да бъдат объркани чрез добавяне на несъществени детайли към поставената задача, съобщава TechCrunch.

Публикуваната статия „Разбиране на ограниченията на математическото мислене в големите езикови модели“ повдига въпроса за способността на изкуствения интелект да мисли логически. Изследването показва, че големите езикови модели (LLM) могат да решават прости математически задачи, но добавянето на информация с ниска стойност води до грешки.

Така например моделът може успешно да реши следната задача: „Оливър събра 44 кивита в петък. След това в събота той събра 58 кивита. В неделя той набрал два пъти повече кивита, отколкото в петък. Колко кивита има Оливър?“. Ако обаче към условието на задачата добавите фразата „в неделя 5 от тези кивита са били малко по-малки от средния размер“, моделът вероятно ще извади тези 5 кивита от общата сума, въпреки че размерът на кивитата не влияе на броя на кивитата.

Мехрдад Фараджтабар, един от съавторите на изследването, обяснява, че подобни грешки показват, че LLM не разбират естеството на задачата, а просто възпроизвеждат модели от данните за обучение.

„Предполагаме, че този спад [в представянето] се дължи на факта, че съвременните LLM не са способни на истинско логическо разсъждение; вместо това те се опитват да възпроизведат стъпките на разсъждение, забелязани в данните от обучението им“, се казва в статията.

Друг експерт от OpenAI контрира, че правилни резултати могат да се получат чрез използване на техники за формулиране на заявките (prompt engineering). Фараджтабар обаче отбеляза, че сложните задачи могат да изискват експоненциално повече контекстуални данни, за да се неутрализират разсейващите фактори, които например едно дете лесно би пренебрегнало.

Означава ли това, че LLM не могат да разсъждават? Възможно е. Все още никой не е дал категоричен отговор, тъй като няма ясно разбиране за това какво се случва. Може би LLMs „разсъждават“, но по начин, който все още не познаваме или не можем да контролираме. Във всеки случай тази тема предлага вълнуващи перспективи за по-нататъшни изследвания.