Cerebras разкри Andromeda – суперкомпютър за изкуствен интелект с 13.5 милиона ядра

Компанията Cerebras, която е автор на най-големия чип в света – Wafer Scale Engine 2 (WSE-2), представи днес своя суперкомпютър Andromeda. Andromeda съчетава 16 от чиповете WSE-2 в един клъстер с 13.5 млн. ядра. Те са оптимизирани за работа с изкуствен интелект. Според компанията осигурява до 1 екзафлоп изчислителна мощност за изкуствен интелект или 120 петафлопа с 16-битова полупрецизност. 

Чиповете са разположени в шестнадесет системи CS-2.

Всеки чип осигурява до 12.1 TB/s вътрешна пропускателна способност на ядрата за ИИ. Данните се подават към процесорите CS-2 чрез 100 GbE мрежи, разпределени в 124 сървърни възела в 16 шкафа. 

Като цяло тези сървъри се захранват от 284 процесора EPYC Milan от трето поколение.

Всеки от тях разполага с по 64 ядра, което прави общо 18 176 ядра. 

Цялата система потребява 500 KW, което е драстично по-малко от сравнимите суперкомпютри, ускорявани с графичен процесор. Въпреки това мащабирането на работното натоварване в такива масово паралелни суперкомпютри отдавна е една от основните спирачки. В определен момент мащабирането обикновено се нарушава, така че добавянето на повече хардуер води до бързо намаляваща възвръщаемост. 

Cerebras обаче твърди, че нейната реализация се мащабира почти линейно с големи езикови модели от клас GPT, като GPT-3, GPT-J и GPT-NeoX. Andromeda може също така да обработва модели с 2.5 милиарда и 25 милиарда параметри. Такива, с които стандартните клъстери с графични процесори просто не могат да се справят поради ограничения в паметта. 

Напомняме, че Cerebras WSE-2 е най-големият едночипов процесор в света. 

Всеки 7 nm чип е специално проектиран за справяне с натоварвания, свързани с изкуствен интелект. Разполага с 850 000 специфични за изкуствения интелект ядра, разпределени върху 46 225 mm2 силиций, изпълнени с 2.6 трилиона транзистора. Чипът разполага с 40 GB вградена SRAM памет, 20 петабайта пропускателна способност на паметта и 220 петабита агрегирана пропускателна способност на тъканта. 

Всеки WSE-2 консумира 15 kW енергия. 

Мащабирането на работното натоварване не е на ниво при повечето големи системи, което води до намаляване на възвръщаемостта. Получава се най-често поради ограничения на кода, паметта, тъканта и/или мрежата. 

Въпреки това Cerebras показа, че нейните системи CS-2 се мащабират почти линейно чрез паралелизъм на данните без промени в основния код. Суперкомпютърът Andromeda започна да работи в рамките на десет минути след пълното му свързване. 

Шестнадесетте CS-2 използват междусистемните връзки MemoryX и Swarm-X на компанията, за да опростят и организират разделянето на модела между системите. 

Този подход съхранява параметрите на модела за ИИ извън чипа в шкаф MemoryX, като същевременно запазва модела и на чипа.

Това позволява на една система да изчислява по-големи модели на изкуствен интелект от преди и да се бори с типичните проблеми със закъснението и пропускателната способност на паметта, които често ограничават мащабируемостта при групите процесори. Cerebras твърди, че това позволява на системата да се мащабира почти линейно в до 192 системи CS-2. 

Andromeda е разположена в центъра за данни на Colovore в Санта Клара, Калифорния. 

Компанията е отворила Andromeda както за клиенти, така и за академични изследователи. Включително Националната лаборатория Аргон, която заявява, че вече е поставила целия геном на COVID-19 в прозорец за секвенции и е изпълнила работното натоварване в 16 възела. С „почти перфектно линейно мащабиране“. Сред другите потребители са JaperAI и Университетът в Кеймбридж.