Промени в еволюцията: на всяко тримесечие ИИ намалява наполовина разликата с хората

ИИ моделите се доближават до способността да изпълняват сложни задачи без човешка намеса.

Съвременните системи за изкуствен интелект все още отстъпват на хората в изпълнението на дългосрочни задачи, но развитието им е толкова бързо, че тази разлика може да изчезне по-скоро от очакваното. До този извод стигнаха изследователи от METR, организация с нестопанска цел, базирана в Бъркли, Калифорния.

Екипът на METR е разработил близо 170 реални задачи в области като програмиране, киберсигурност, логическо мислене и машинно обучение. За да оценят напредъка на изкуствения интелект, експертите са установили „човешкото базово ниво„, като са измерили колко време отнема на експертите да ги изпълнят. След това те предложиха нов показател – „хоризонт на изпълнение на задачите“. Тази метрика отразява колко време средно отнема на програмистите да изпълнят задачи, с които ИИ моделите се справят с определена степен на успех.

В статия, публикувана в arXiv, изследователите анализират 13 съвременни ИИ модела и установяват, че техният „хоризонт на изпълнение“ се удвоява приблизително на всеки седем месеца от 2019 г. насам. През 2024 г. темпът на нарастване се е ускорил: сега той се удвоява приблизително на всеки три месеца. През 2019 г. GPT-2, един от първите основни езикови модели на OpenAI, се проваля във всяка задача, чието изпълнение отнема на човека повече от минута. А Claude 3.7 Sonnet, пуснат през февруари 2024 г., вече успешно се справя с 50% от задачите, изискващи от човека 59 минути работа.

Ако настоящата тенденция се запази, до 2029 г. ИИ моделите ще могат да се справят със задачи, изискващи около месец работа от човек, с 50-процентна успеваемост. Това е важен етап, тъй като един месец целенасочена човешка работа може да бъде достатъчен за създаването на стартъп или научно откритие.

Не всички учени обаче споделят възторжените прогнози. Джошуа Ганс, професор по мениджмънт в Университета в Торонто, смята, че подобни екстраполации нямат голяма стойност. Той подчертава, че все още има твърде много неизвестни за това как точно ще се използва ИИ в реалните задачи.

Изследователите от METR са избрали 50% успеваемост на задачите като ключов праг, защото това ниво се е оказало най-устойчиво на малките промени в разпределението на данните. Ако прагът на надеждност се повиши до 80 процента, средният времеви хоризонт се свива пет пъти, въпреки че общата тенденция на растеж остава непроменена.

Напредъкът на ИИ моделите през последните пет години се дължи главно на увеличаването на мащаба – обема на данните за обучение, времето за обучение и броя на параметрите. Авторите на изследването обаче отбелязват, че ръстът на времевия хоризонт е силно повлиян и от подобренията в логическото мислене, способността за използване на инструменти, коригирането на грешките и способността за осъзнаване на контекста на поставената задача.

Подходът на METR преодолява някои от ограниченията на традиционните тестове за изкуствен интелект, които са слабо свързани с реалните работни задачи и бързо стават неуместни с усъвършенстването на моделите. Новата метрика осигурява по-точно представяне на дългосрочния напредък в развитието на технологиите.

Въпреки че водещите ИИ модели вече демонстрират свръхчовешки резултати на тестовете, тяхното икономическо въздействие остава ограничено. Един от авторите на проучването, Бен Уест, обяснява това с факта, че настоящите модели имат времеви хоризонт от около 40 минути – а в този период хората рядко имат време да извършат нещо с реална стойност. Според Уест това отчасти обяснява защо ИИ все още не е оказал значително въздействие върху икономиката.

В същото време предприемачът и изследовател Антон Трояников смята, че моделите на ИИ могат да бъдат много по-полезни, ако компаниите инвестират по-активно в интегрирането им в бизнес процесите.

Въпреки че новият показател е полезен, той не успява да оцени напълно способността на ИИ да обобщава – т.е. да изпълнява задачи, различни от тези, за които е бил обучен моделът. Изследователите от METR признават, че техният метод не покрива цялата сложност на реалната работа, но уверяват, че тенденцията на нарастване на времевия хоризонт, която са открили, се запазва дори при задачи, които са максимално близки до реалните условия.

Прогнозирането на развитието на изкуствения интелект зависи от много фактори. През последните пет години изчислителната мощ нарасна многократно, но в бъдеще физическите и икономическите ограничения могат да забавят този растеж. Експертите обаче смятат, че този ефект ще бъде частично компенсиран от подобренията в алгоритмите. METR също така очаква, че по-нататъшният напредък в технологиите за автономни модели и способността им да автоматизират изследванията ще доведат до нов напредък.

Джошуа Ганс предполага, че следващата стъпка е да се проучи как ИИ и човешкото взаимодействие могат да подобрят съвместната работа при изпълнение на задачите. Този подход би могъл да даде по-точна представа за практическата стойност на изкуствения интелект.

Ситуацията е сравнима с индустриалната революция в селското стопанство: в наши дни един земеделски производител с трактор може да постигне повече, отколкото неговият предшественик с 500 вола през 50-те години на ХХ век. Темпът на развитие продължава да се ускорява. А това означава, че буквално сега се извършват промени в еволюцията, такава, каквато я познаваме.