Най-популярният чатбот се провали на тест за ученици

Въпреки че изкуственият интелект вече може да победи хората на шах, да рисува картини и да пише кодове, простите детски логически пъзели остават непреодолима стена за него. Новият тест ARC-AG2 отново доказа, че аналитичното мислене е ахилесовата пета на невронните мрежи.

Какво е ARC-AG2?

Това не е обикновен IQ-тест. ARC-AG2 (Abstraction and Reasoning Corpus) е набор от визуални задачи, където трябва да намерите логически модел между цветните блокове и да изберете правилното продължение. Задачите изглеждат прости, но изискват абстракция, обобщение и творческо мислене. Тоест точно това, което човек се учи да прави от ранна възраст, но невронните мрежи не.

Дори и най-мощните модели не успяха да покажат приличен резултат:

• Deepseek R1 — 1,3% верни отговори
• Google Gemini и Claude 3.7 Sonnet — около 1%
• GPT-4.5 от OpenAI — само 0,8%

За сравнение: човек, дори без специално обучение, решава тези проблеми многократно по-добре. Това поставя под въпрос способността на настоящите модели наистина да „разбират“, а не просто да обработват информация.

Този провал показва, че AI не може да се учи в движение. Ако в тренировъчната му база няма данни, той е безсилен. Тестът е създаден по такъв начин, че е невъзможно да се „наизустят“ отговорите. И тук целият „интелект“ на моделите рухва.

Предишният тест ARC-AG1 също дълго време остана „неразрешим“ за невронните мрежи. Ако ARC-AG2 повтори съдбата си, това може да забави развитието на AGI — изкуствен общ интелект, способен да мисли като човек. Засега AI е мощен инструмент, но не и мислещо същество.

И докато невронните мрежи не успяват да решат проблемите на учениците, разработчиците са оставени да намерят отговор на основния въпрос: как да научат една машина наистина да мисли?