Още една стъпка напред: DeepMind представи фреймуърк, който силно подобрява способностите на LLM

Изследователи от Google DeepMind и Университета на Южна Калифорния представиха съвсем новия тип фреймуърк SELF-DISCOVER. Той рязко подобрява способностите за разсъждение на големи езикови модели. С този подход GPT-4 постигна резултати от 81%, 85% и 73% точност съответно в тестовете Big-Bench Hard, Thinking for Doing и Math. За разлика от него, при използването на Chain of Thought (CoT), друг популярен фреймуърк, точността спадна до 75%, 52% и 71%. Новият метод също така изисква от 10 до 40 пъти по-малко изчислителна мощност за правене на изводите.

Софтуерната платформа SELF-DISCOVER дава възможност на изкуствения интелект (в този случай езикови модели като GPT-4 или PaLM 2) самостоятелно да се научи да намира и прилага най-ефективните начини за решаване на сложни проблеми. Това означава, че вместо да следват предварително определен алгоритъм, моделите сами определят как най-добре да решат поставената задача.

Основната характеристика на този фреймуърк е, че той позволява на моделите да избират сами и да комбинират различни блокове от разсъждения. По този начин те самостоятелно формират най-подходящата стратегия за постигане на дадена цел. Това е различно от предишните подходи, при които моделът трябваше да следва набор от ясни инструкции.

Методът работи на два етапа. В първия моделът на изкуствен интелект анализира поставената задача и определя кои блокове от разсъждения могат да бъдат приложени за решаването ѝ. Тези блокове са атомарни единици на логиката и разсъжденията. Като например критично мислене, решение стъпка по стъпка, анализ на подзадачи и т.н. Моделът преглежда различните методи за разсъждение, с които разполага, и избира най-подходящите от тях. Този процес е подобен на начина, по който човек, когато се сблъска с нов проблем, търси начини за решаването му и избира най-добрия от тях.

След като моделът е формирал стратегията за решение, той пристъпва към нейното прилагане. На този етап моделът следва разработената структура на разсъждение, като стъпка по стъпка извършва необходимите действия за постигане на резултата.

С помощта на SELF-DISCOVER моделите са в състояние да решават проблемите много по-гъвкаво и ефективно. За разлика от традиционните методи, при които моделът може да „зацикли“ при сложните проблеми поради несъответствия в зададения алгоритъм, SELF-DISCOVER позволява на изкуствения интелект да се адаптира и да намери оптималния път към решението. Това подобрява ефективността при сложните тестове.

Изследователите тестваха SELF-DISCOVER, като го използваха в GPT-4, PaLM 2-L и други LLM върху 25 различни задачи, изискващи сложни разсъждения. В 21 от 25-те случая SELF-DISCOVER се представи по-добре от традиционните методи, като подобри представянето с 32% и повече. Освен това бе установено, че SELF-DISCOVER изисква 10-40 пъти по-малко изчислителни ресурси за получаване на резултатите.