Нов метод за обучение създава AI агенти с помощта на само 78 примера

Ново проучване на китайски изследователи показва, че обучението на големите езикови модели (LLM) за изпълнение на сложни автономни задачи не изисква непременно огромни набори от данни. Въз основа на подобна работа в други области на обучението на LLM те са разработили фреймуърк, който показва, че „машинната автономност не произтича от изобилието на данни, а от стратегическия подбор на висококачествени примери за агентите“. С други думи, от значение е качеството, а не количеството на данните.

Съвременните системи за обучение предполагат, че колкото по-високо е нивото на интелигентност, необходимо за AI агента, толкова по-голямо е количеството данни, необходими за неговото обучение. Изследователите твърдят, че този подход води до все по-сложни процеси на обучение и значителни разходи за ресурси. Нещо повече, в много области данните са ограничени, трудно се набавят и са много скъпи за събиране.

Изследвания в други области обаче показват, че това не е задължително, пише Venture Beat. Например статия от 2023 г. показва, че един модел може да бъде ефективен дори когато е обучен само върху 1000 внимателно подбрани примера. Разработената от екипа рамка LIMI (Less Is More for Intelligent Agency, „повече е по-малко за интелигентните агенти“) използва същия принцип.

Чрез експериментиране изследователите установяват, че с малък, но внимателно подбран набор от данни от само 78 примера, те могат да създадат LLM, които значително ще надминат моделите, обучени върху хиляди примери, по ключови показатели за индустрията.

Ключов елемент на фреймуърка е конвейера за събиране на висококачествени примери за задачи на агенти. Всеки пример се състои от две части: заявка и траектория. Запитването е потребителската заявка на естествен език, като например изискване за разработване на софтуер или цел на научно изследване. Траекторията е последователността от стъпки, които изкуственият интелект предприема, за да изпълни заявката, включително вътрешните разсъждения, заявките за използване на външни инструменти и наблюденията на средата. Една траектория може да включва множество итерации на планиране, изпълнение и обмисляне, докато се постигне желаната цел.

„Този подход гарантира, че нашите модели се учат не само от успешните резултати, но и от целия процес на решаване на проблеми, включително как да адаптират стратегиите и да се възстановяват от неуспехите по време на съвместното изпълнение“, .

пишат изследователите

Подходът, описан в изследването, може да бъде полезен за изграждане на приложения в ситуации, в които данните са оскъдни или събирането им е скъпо.

Да добавим, че новата технология Memp, разработена от китайски учени, предоставя на LLM агентитете динамична памет, което ги прави по-ефективни при решаването на сложни задачи. Тази „процедурна памет“ се актуализира постоянно с натрупването на опит, подобно на начина, по който хората се учат чрез действие.