Бъдещето на изчисленията: Китай представи невроморфен AI, който е 100 пъти по-бърз

Учени от Института по автоматизация на Китайската академия на науките в Пекин са разработили нов „мозъкоподобен“ езиков модел с име SpikingBrain 1.0, предназначен да работи с местните чипове вместо с процесорите на Nvidia. Системата имитира работата на биологичните неврони, което позволява да се намали консумацията на енергия и да се постигне висока производителност. Моделът демонстрира резултати, сравними с тези на традиционните системи за изкуствен интелект, като се обучава върху по-малко от 2% от стандартния обем данни. Освен това SpikingBrain 1.0 обработва дългите последователности от токени десетки пъти по-бързо.

Архитектурата Transformer, която стои в основата на популярни AI като ChatGPT, е изключително ресурсоемка: разходите за обучение нарастват квадратично с дължината на последователността, докато паметта за заключенията расте линейно. SpikingBrain 1.0 използва различен подход – така нареченото “spike computing“, което имитира работата на мозъчните неврони.

За разлика от модели като GPT, при които се активира цялата мрежа, SpikingBrain реагира само на конкретни входни сигнали. Този принцип позволява драстично да се намали консумацията на енергия и да се увеличи скоростта на обработка. Според авторите системата се е обучавала на по-малко от 2% от данните, които обикновено са необходими за модели от такъв мащаб, но въпреки това се представя съпоставимо при тестовете за разбиране на език и разсъждение.

Екипът е тествал две версии на модела – със 7 млрд. и 76 млрд. параметри. И двата модела са обучени на сравнително малко количество данни – 150 милиарда лексеми. Ефективността на технологията е особено забележима при обработката на дълги последователности. При един от тестовете по-малкият модел реагира на подсказка от 4 милиона лексеми повече от 100 пъти по-бързо от стандартната система. В друг тест, SpikingBrain 1.0 показа 26,5 пъти по-голямо ускорение в сравнение с традиционната архитектура Transformer при генериране на първия токен от контекст от 1 милион токена.

Тестовете показаха и постоянна производителност: системата работи стабилно в продължение на няколко седмици върху инсталация от стотици чипове MetaX – платформа, разработена от базираната в Шанхай MetaX Integrated Circuits. Това подчертава потенциала на SpikingBrain за широкомащабно разгръщане без чужди технологии.

Изследователите смятат, че новият модел е особено полезен там, където трябва да се обработват гигантски количества данни: при анализ на правни и медицински документи, физика и биоинформатични експерименти, включително секвениране на ДНК.

„Тези резултати показват, че обучението на големи модели може да бъде ефективно и на алтернативни платформи, различни от Nvidia“, пише изследователският екип.

Новата технология, която имитира структурата и работата на човешкия мозък, може да промени из основи начина, по който се правят изчисления и да ускори развитието на следващото поколение AI системи.