Изследване на Pfizer за това защо големите езикови модели изпитват трудности при решаването на проблеми

Нов коментар от изследователи на Pfizer хвърля съмнение върху ключовите изследвания в проучването „Илюзия на мисленето“, съавтор на което са учени от Apple.

В статията, написана от Apple, се твърди, че този внезапен спад в производителността сочи към фундаментално ограничение на възможностите на машинното мислене.  Други проучвания са открили подобни резултати, но не го наричат ​​твърдо ограничение.

Екипът на Pfizer също не е съгласен с тълкуването на Apple. Те твърдят, че влошаването на производителността не се дължи на когнитивна бариера, а на изкуствените условия на тестване. Принуждаването на моделите да работят само в текстова среда – без инструменти като програмни интерфейси – прави сложните задачи много по-трудни, отколкото е необходимо. Това, което изглежда като проблем на мисленето, всъщност е проблем на изпълнението.

Защо някои задачи представляват предизвикателства за LRM?

В оригиналното проучване модели като Claude 3.7 Sonnet-Thinking и Deepseek-R1 бяха тествани върху текстови пъзели като „Кулата на Ханой“ и „Пресичането на река“. С нарастването на трудностите на пъзелите точността на моделите рязко спада – феномен, наречен в проучването „пропаст на разсъжденията“.

Екипът на Pfizer посочва нереалистичните ограничения на теста: моделите не можеха да използват външни инструменти и трябваше да проследяват всичко в обикновен текст.  Това не разкрива никакви грешки в разсъжденията, но направи почти невъзможно моделите да изпълняват дългите и прецизни стъпки за решаване на проблемите.

Като пример, изследователите на Pfizer са разгледали модела o4-mini. Без достъп до инструменти, той е обявил разрешимия пъзел „Пресичане на река“ за нерешим, вероятно защото не е могъл да запомни предишните стъпки. Това ограничение на паметта е добре познат проблем със съвременните езикови модели и е описано и в проучването на Apple.

Pfizer нарича това „заучена безпомощност“: когато LRM не може перфектно да изпълни дълга поредица от действия, той може погрешно да реши, че задачата е невъзможна.

Проучването на Apple също не е взело предвид „кумулативната грешка“. При задачите с хиляди стъпки вероятността за безупречно изпълнение намалява с всяка стъпка. Дори ако даден модел е 99,99% точен на всяка стъпка, вероятността за решаване на труден пъзел без грешка като “Ханойската Кула“ е по-малка от 45%. Така че наблюдаваният спад в производителността може просто да отразява статистическата реалност, а не когнитивни ограничения.

Инструментите отварят достъп до разсъждения на по-високо ниво

Екипът на Pfizer тества отново GPT-4o и o4-mini, но този път с достъп до инструмента Python. И двата алгоритъма са решавали простите пъзели с лекота, но методите им са се различавали с усложняването на задачата.

GPT-4o е използвал Python, за да имплементира логична, но погрешна стратегия и не е успял да разпознае грешката. От друга страна, o4-mini е забелязал първоначалната си грешка, анализирал я е и е преминал към правилния подход, което е довело до успешно решение.

2

Моделът o4-mini открива грешката, променя стратегията си и в крайна сметка решава пъзела с лодката.

Изследователите приписват това поведение на класически идеи в когнитивната наука. GPT-4o действа подобно на “Система 1“ на Даниел Канеман — бърза и интуитивна, но склонна да се придържа към лош план. o4-mini, от друга страна, показва мислене, подобно на “Система 2“: бавно, аналитично и способно да преразгледа стратегията си, след като осъзнае грешката. Тази метакогнитивна корекция се счита за типична за съзнателното решаване на проблеми.

Преосмисляне на способите за оценка на моделите за логически извод

Екипът на Pfizer твърди, че бъдещите LRM тестове трябва да тестват моделите както със, така и без инструменти. Тестовете без инструменти подчертават ограниченията на езиковите интерфейси, докато изпитанията с инструменти показват какво могат да постигнат моделите като агенти. Те също така изискват тестове, които оценяват метакогнитивните способности, като откриване на грешки и стратегическо коригиране.

Тези резултати имат значение и за безопасността. Моделите с изкуствен интелект, които сляпо следват погрешни планове, без да ги коригират, може да са опасни, докато моделите, които могат да преразгледат стратегиите си, е вероятно да бъдат по-надеждни.

Оригиналното изследване „Илюзия на мисленето“ от Шоджаей и др. (2025)  предизвика широк дебат за това на какво всъщност са способни големите езикови модели. Анализът на Pfizer потвърждава това, но посочва по-сложни аспекти на проблема от просто „липсата на машинно мислене“.