Как един малък чип победи най-добрия суперкомпютър в света

Компютърните чипове се превърнаха в ценна стока, за което свидетелства фактът, че NVIDIA се превърна в една от най-ценните компании в света, а тайванският производител на чипове – TSMC се превърна във важна геополитическа сила. Не е изненадващо, че все повече стартиращи и утвърдени компании се стремят да се наложат на този пазар.

Сред тях се откроява Cerebras. Тази компания произвежда чипове с размерите на тортила, съдържащи близо един милион процесора, всеки със собствена локална памет.

Тези процесори не се нуждаят от прехвърляне на информация към общата памет, което ги прави изключително бързи. Връзките между процесорите, които в повечето суперкомпютри изискват свързване на отделни чипове в огромни машини също са много бързи.

Това прави чиповете идеални за специфични задачи. Последните проучвания показват, че ползите от такива чипове могат да бъдат значителни. В едно проучване чиповете Cerebras надминаха суперкомпютъра Frontier в моделирането на молекули. Те също така показаха, че един опростен модел с изкуствен интелект може да използва 1/3 от мощността, без да губи от производителността си.

Молекулярна матрица

Материалите, използвани в производството играят ключова роля за развитието на технологиите. Те откриват нови възможности, като преодоляват предишни ограничения по отношение на здравината или устойчивостта на топлина. Например, успешното използване на енергията от термоядрен синтез изисква материалите да могат да издържат на екстремни условия.

Учените използват суперкомпютри, за да симулират как металите, използвани в реакторите за термоядрен синтез се справят с топлината. Тези симулации разглеждат отделните атоми и използват законите на физиката, за да контролират тяхното движение и взаимодействия в големи мащаби. Съвременните суперкомпютри могат точно да симулират материали, съдържащи милиарди или дори трилиони атоми.

Въпреки това скоростта на тези симулации е в застой. Поради начина, по който са проектирани суперкомпютрите, те могат да симулират ограничен брой взаимодействия в секунда. Увеличаването на размера на машините само задълбочава проблема, като ограничава общата продължителност на молекулярните симулации.

Cerebras си сътрудничи с американските лаборатории в Сандия, Лоурънс Ливърмор и Лос Аламос, за да провери дали техните чипове могат да ускорят процеса на симулация. Екипът „назначи“ по един симулиран атом на всеки процесор на чипа, което позволи бързото обменяне на тяхната позиция, движение и енергия. Процесори, симулиращи близки един до друг атоми в реалността също бяха съседи на чипа на Cerebras.

Екипът моделира 800 000 атома в три материала – мед, волфрам и тантал, които биха могли да бъдат полезни в реакторите за термоядрен синтез.

Резултатите бяха впечатляващи: симулациите на тантала показаха 179 пъти по-висока скорост от суперкомпютъра Frontier. Това означава, че чипът може да обработва едногодишна работа на суперкомпютър за няколко дни, като значително увеличава продължителността на симулациите от микросекунди на милисекунди.

„Занимавам се с атомистично моделиране на материали повече от 20 години и през това време съм участвал в значителни подобрения както в размера, така и в точността на симулациите. Въпреки всичко това обаче не успяхме да увеличим реалната скорост на симулациите. Времето, необходимо за провеждане на симулациите, почти не се е променило през последните 15 години. С чипа Cerebras Wafer-Scale Engine изведнъж можем да се движим с хиперзвукова скорост“.

казва Ейдън Томпсън от лабораторията в Сандия

Въпреки, че чипът увеличава скоростта на симулацията, той не може да се конкурира по мащаб. Броят на симулираните атоми е ограничен от броя на процесорите на чипа. Следващите стъпки включват възлагане на няколко атома на всеки процесор и използване на нови суперкомпютри, базирани на чипове за пластини, комбиниращи 64 системи Cerebras. Екипът изчислява, че такива машини могат да симулират до 40 милиона танталови атома с подобна скорост.

Облекчение за ИИ

В допълнение към моделирането на физическия свят, чиповете с пластини се фокусират и върху изкуствения интелект. Съвременните модели с изкуствен интелект нарастват експоненциално, което увеличава разходите и консумацията на енергия за тяхното обучение и експлоатация. Чиповете на Cerebras могат да направят ИИ по-ефективен.

В отделно проучване изследователи от Neural Magic и Cerebras работят за намаляване на размера на езиковия модел Llama на Meta, който съдържа 7 милиарда параметъра. За тази цел те създадоха „рядък“ ИИ-модел, при който много от параметрите на алгоритъма са равни на нула. На теория това прави алгоритъма по-малък, по-бърз и по-ефективен. Така наречените ИИ-чипове обаче обработват алгоритмите на части, което прави невъзможно пропускането на всички занулени параметри.

Тъй като паметта е разпределена по целия чип, той може да прочете всеки параметър и да пропусне нулите навсякъде. Въпреки това, изключително разредените модели обикновено се представят по-зле от плътните. За щастие екипът е намерил начин да възстанови загубената производителност с допълнително обучение. Техният модел запазва производителността си дори при 70% от параметрите, които са изтрити. Работейки на чип Cerebras, той консумира само 30% от енергията и работи три пъти по-бързо от пълния модел.

Победа за чиповете?

Въпреки всички постижения Cerebras остава нишов играч. По-традиционните чипове на NVIDIA продължават да доминират на пазара. Компаниите са инвестирали значителни средства в опита и инфраструктурата, изградени около последната и това едва ли ще се промени скоро.

Въпреки това, чиповете като тези на Cererbras могат да продължат да доказват своята стойност в нишови, но важни приложения в сферата на научните изследвания. В бъдеще този подход може да се превърне в по-масов. Възможността за производство на чипове от пластини едва сега достига съвършенство. Доказателство за това е, че най-големият производител на чипове в света – TSMC, който наскоро обяви, че разширява възможностите си за производство на такива чипове. Това може да направи тези чипове по-широко разпространени и по-мощни.