„Илюзията за мислене“: Инженерите на Apple показаха как един прост пъзел обърква изкуствения интелект

Ново изследване на екип на Apple показа, че моделите с изкуствен интелект със способности за разсъждение всъщност не могат да решават класически логически пъзели.

Въпреки че моделите с изкуствен интелект са изключително добри в математиката и кодирането, когато става въпрос за по-сложни задачи, те създават само „илюзията за мислене“, твърди екип от Apple в ново проучване.

Според изследването, модели за широкомащабно мислене ( LRM) като OpenAI o1 и o3, DeepSeek R1, Claude 3.7 Sonnet Thinking и Google Gemini Flash Thinking се объркват, когато се сблъскат с по-сложни проблеми. Те включват класически логически пъзели като Ханойската кула. Този пъзел се състои от дискове, подредени от най-големия към най-малкия върху един от три колчета, а целта е дисковете да се преместят на третия кол, без никога да се поставя по-голям диск върху по-малък. Задачата може да бъде затруднена, например, чрез добавяне на още дискове. Проучването установява, че Claude 3.7 Sonnet и DeepSeek R1 започват да се провалят, когато към проблема с Ханойската кула се добави пети диск. Дори когато към LRM се приложи повече изчислителна мощност, те все още не успяват да се справят с по-сложните пъзели.

„Резултатите показват, че всички модели за разсъждение демонстрират подобна закономерност по отношение на сложността: точността постепенно намалява с увеличаване на сложността на проблема, докато достигне пълен колапс ( нулева точност) отвъд специфичния за модела праг на сложност“ — пишат изследователите.

Изследователите също така установили, че моделите, парадоксално, започнали да намаляват усилията си за разсъждение с увеличаване на трудността на задачата. Така че, когато задачите ставали по-трудни, LRM-ите „ мислили“ по-малко. Дори когато изследователите включили алгоритъм в подсказката, всичко, което моделите е трябвало да направят е да следват стъпките, но и в този случай те са продължили да се провалят. Това проучване не означава, че LRM-ите изобщо не разсъждават, но показва, че може би не са много по-умни от хората.

„Хората всъщност имат редица (добре познати) ограничения, които съвпадат с откритието на екипа на Apple. Много ( не всички) хора не могат да се справят с 8-дисковите версии на Ханойската кула“ — пише експертът по изкуствен интелект Гари Маркъс в блог публикацията си.