Колкото повече мисли, толкова по-зле решава: парадоксът на съвременния изкуствен интелект

ИИ моделите зациклят в собствените си мисли – и това е скъпо.

Днешните езикови ИИ модели демонстрират все по-голяма способност да разсъждават, но същото това тяхно качество води до неочакван проблем – „парализа на анализа“. Изследване, проведено от учени от Калифорнийския университет в Бъркли, ETH Цюрих, Карнеги Мелън и Университета на Илинойс, показва, че усъвършенстваните модели често са склонни към прекалено мислене, което намалява тяхната ефективност.

Авторите на статията определят този ефект като „склонност да се предпочитат продължителните вътрешни разсъждения пред взаимодействието с външната среда“. Това е подобно на ситуацията, когато човек, без да има достатъчно информация, безкрайно анализира даден проблем, но така и не стига до правилното решение.

За да проверят по какъв начин моделите се справят с този проблем, изследователите ги тестват върху популярен еталон за софтуерно инженерство. Те използват платформата OpenHands, където моделите трябва да откриват грешките и да предлагат решения. Оказа се, че моделите с изграден механизъм за разсъждаване са склонни към „ прекомерно разсъждаване“ почти три пъти по-често от тези без такъв механизъм. Нещо повече, с нарастването на нивото на „преосмисляне“ вероятността за успешно завършване на задачата намалява средно със 7,9% за всяка допълнителна единица анализ.

Моделите със сравнително малко параметри, като например QwQ-32B на Alibaba, се оказаха особено податливи на „свръхмислене“. Моделите Sky-T1-R и DeepSeek-R1 32B също показаха високи нива на „парализа на анализа“, като в същото време успехът им при решаване на задачи не превъзхождаше моделите без развит механизъм за разсъждение.

Един от основните проблеми на свръханализа при езиковите модели е увеличаването на изчислителните разходи. Колкото повече моделът анализира даден проблем, толкова повече ресурси изразходва. Така например използването на OpenAI o1 в режим на работа с високи ресурси струва 1400 долара, докато неговата орязана версия струва 800 долара, а разликата в успеваемостта при решаването на проблемите е незначителна – 29,1% срещу 27,3%.

Изследователите са установили, че пускането на „опростената“ версия няколко пъти и избирането на най-добрия резултат е по-ефективно и икономично, отколкото използването на „задълбочения“ анализ. Този подход спестява 200 долара, без да намалява качеството на решенията.

Не всички усъвършенствани езикови модели обаче са податливи на този проблем. Така например DeepSeek-R1 671B показа по-малка склонност към свръханализ в сравнение с базовата версия DeepSeek-V3 671B. Учените предполагат, че това се дължи на особеностите на обучението му – моделът е използвал широкомащабно обучение с подсилване, но не е бил специално адаптиран за задачи по програмиране. В резултат на това той по-малко „затъвал“ в разсъжденията и по-често взаимодействал с околната среда.

Основният извод от изследването е, че разумното ограничаване на дълбочината на анализа може да подобри работата на езиковите модели. Остава обаче въпросът: как да обучим един модел да използва точно толкова разсъждения, колкото е необходимо? Авторите се надяват, че публикуването на тяхната методология и данни със свободен достъп ще помогне на научната общност да се справи с този въпрос. Пълният набор от данни, както и методологията, използвана за количествено определяне на излишните анализи, са достъпни в GitHub.