Андрей Карпати научи ИИ агентите да провеждат стотици експерименти, докато хората спят

Андрей Карпати, бивш ръководител на проекта за изкуствен интелект на Tesla и съосновател на OpenAI, който е автор на термина вайб кодинг, публикува своя нов проект с отворен код в GitHub. Това не е готов модел или мащабен корпоративен продукт – това е простичък скрипт с 630 реда, но с големи амбиции: автоматизиране на научния метод с помощта на ИИ агенти без човешко участие – например през нощта.

„Целта е да ИИ агентите да бъдат проектирани по такъв начин, че да напредват изключително бързо в научните изследвания без вашето участие“,

пише Карпатиан в социалната мрежа X.

Постът моментално стана вирусен и за два дни събра над 8,6 милиона гледания.

Системата функционира като автономен цикъл за оптимизация. На ИИ-агента се дава обучаващ скрипт и фиксиран изчислителен бюджет (обикновено 5 минути на графичен процесор). Агентът прочита собствения си изходен код, формулира хипотеза за подобрение (например промяна в скоростта на обучение или дълбочината на архитектурата), модифицира кода, провежда съответния експеримент и оценява резултатите.

Ако загубата при валидирането – измерена в битове на байт (val_bpb) – се подобри, той запазва промяната; в противен случай агентът я отменя и опитва отново. За една нощ ИИ-агентът е извършил 126 експеримента, като е намалил загубите от 0,9979 на 0,9697. След два дни настройка на модела агентът успешно обработва около 700 автономни промени. Той е открил около 20 адитивни подобрения, които перфектно се прехвърлят към по- големите модели.

„Да видиш как един агент изпълнява целия този работен процес от началото до края и то напълно самостоятелно… това е невероятно“,

коментира Карпатян, отбелязвайки, че агентът е открил грешки в мащабирането на вниманието и регуларизацията, които самият той е пропуснал в продължение на две десетилетия работа.

Според експертите автоматичното проучване е фундаментална промяна в подобряването на изкуствения интелект. Като автоматизира „научния метод“ за кода, Карпати е превърнал машинното обучение в еволюционен процес, който работи със скоростта на силиция, а не със скоростта на човешката мисъл. Този тип процес може да се прилага далеч отвъд ИТ, в области като маркетинга, здравеопазването – почти всичко, което изисква изследвания.

Варун Матур, ръководител на платформата за агрегиране на инструменти за изкуствен интелект Hyperspace AI, проведе експеримент с един-единствен агент в партньорска мрежа. Всеки възел, в който работи агент на Hyperspace, се превърна в автономен изследовател. За една нощ 35 автономни агента проведоха 333 експеримента изцяло без надзор.

Според Матур, докато графичните процесори H100 биха използвали метода на „грубата сила“, агентите, работещи само с процесорите на лаптопите, са били принудени да „проявяват изобретателност“. Те се фокусирали върху стратегиите за инициализация (като Kaiming и Xavier init) и избора на нормализация, тъй като не можели да разчитат на висока пропускателна способност.

Използвайки протокола GossipSub, агентите споделят напредъка си в реално време. Когато един от агентите открил, че стратегията Kaiming намалява загубите с 21%, тази информация се разпространила в мрежата подобно на компютърен вирус. В рамките на няколко часа 23 други агенти включиха откритието в собствените си хипотези. Само за 17 часа агентите независимо преоткриха важни стъпки в машинното обучение – като RMSNorm и свързаните вграждания – които отнеха на изследователите от лаборатории като Google Brain и OpenAI почти осем години, за да ги формализират.

Появата на автоматизираните изследвания може да промени бъдещето на научните изследвания в различни области, където простите механизми за контрол на изкуствения интелект изместват ролята на човека от „експериментатор“ в „дизайнер на експерименти“. С появата на такива инструменти тясното място за напредъка в областта на ИИ вече не е способността на човека да програмира, а неговата способност да определя ограниченията за търсене.

Според анализаторите „Андрей Карпатий отново промени ситуацията – вече не просто кодираме модели, а създаваме екосистеми, които се учат, докато спим“.