Дали мисловната верига на LLM не е само мираж?

Когато интелигентният отговор на ИИ е просто копие от учебника.

Изследователи от Университета на Аризона са провели серия от експерименти, които поставят под въпрос реалната способност на настоящите симулирани модели на мисловна верига („chain-of-thought“, CoT) да правят логически изводи извън познатите шаблони. През последните месеци индустрията на изкуствения интелект активно разработва такива подходи, предполагайки, че логиката „стъпка по стъпка“ позволява на изкуствения интелект да се справя по-добре със сложните задачи. Натрупващите се доказателства обаче сочат, че при най-малкото отклонение от познатите формати отговорите стават нестабилни и често губят своята семантична и логическа съгласуваност.

За да проверят доколко тези модели са способни да правят обобщени изводи, учените създадоха контролирана среда, наричана DataAlchemy. В нея малките модели са обучени върху примери за две примитивни трансформации на текст – ROT-шифър и циклични премествания, а след това и върху комбинации от тези функции в различни последователности. След обучението те бяха тествани върху задачи, които се различават по вид, формат и дължина на входните данни от обучаващия набор. Така например модел, който е виждал само примери с две размествания, трябваше да обработи задача с две ROT трансформации, знаейки само как изглежда всяка от тях поотделно.

Резултатите показаха, че когато се опитват да приложат научените модели към непознати комбинации, моделите често дават или правилни разсъждения с грешни отговори, или правилни резултати с нелогични обяснения на пътя. В същото време дори малка промяна в дължината на текста или броя на стъпките във веригата води до рязък спад в точността. Друг критичен фактор е форматът на входните данни: добавянето на символи или букви към задачата, които не са участвали в обучението, значително влошава коректността на резултатите.

Учените отбелязват, че е възможно частично подобрение с предварително обучение под контрол (SFT), но това не е доказателство за истинската способност за обобщаване. Според тях настоящите модели на CoT са предимно структурирани сравнения на познатите модели, а не пълноценно абстрактно мислене. Тяхната склонност към „гладки безсмислици“ създава илюзия за надеждност, което е особено опасно във високорискови области като медицината, финансите и правото. Авторите призовават системите да бъдат тествани върху задачи, които са изцяло извън обхвата на данните за обучение, и да бъдат разработени архитектури, които са способни на по-задълбочени логически изводи, а не само на симулирано разсъждение.