Google представи Arm-процесорите Axion и тензорния ускорител Ironwood за обучение и стартиране на огромни AI модели

Днес Google представи новите си процесори Axion и тензорния ускорител Ironwood, които са седмо поколение TPU. Според компанията чиповете Axion са с 50% по-бързи и 60% по-енергийно ефективни от днешните x86 процесори, докато Ironwood TPU е най-високопроизводителният и мащабируем персонализируем AI ускорител до момента и първият сред чиповете на Google, създаден специално за работа с обучени модели на изкуствен интелект (inference).

Ironwood TPU ще се доставя в системи в две конфигурации: с 256 или 9216 чипа. Единичният ускорител има пикова изчислителна мощност от 4614 Tflops (FP8), докато клъстер от 9216 чипа произвежда общо 42,5 Eflops при консумация на енергия от около 10 MW. Тази производителност далеч надхвърля възможностите на системата Nvidia GB300 NVL72, която е 0,36 Eflops с FP8 операции.

Ironwood разполага с усъвършенстван SparseCore блок, предназначен за работа с AI модели, използвани в системи за класиране и препоръчване. Усъвършенстваната реализация на SparseCore в Ironwood позволява ускоряване на по-широк кръг от работни натоварвания, като се разширява отвъд традиционната област на ИИ във финансовата и научната сфера.

Модулите са свързани помежду си с помощта на собствената мрежа Inter-Chip Interconnect със скорост 9,6 Tbps и съдържат приблизително 1,77TB HBM3E памет, което също надвишава възможностите на конкурентната платформа на Nvidia. Те могат да бъдат групирани в клъстери от стотици хиляди TPU.

Тази интегрирана суперкомпютърна платформа, която Google нарича „хиперкомпютър с изкуствен интелект“, съчетава изчислителни функции, функции за съхранение и мрежови функции на едно ниво на управление.

За да подобри надеждността, Google използва преконфигурируема матрица за превключване на оптични вериги, която незабавно заобикаля всякакви хардуерни повреди, за да поддържа непрекъсната работа.

Според IDC този „хиперкомпютър с изкуствен интелект“ осигурява 3-годишна средна възвръщаемост на инвестициите (ROI) от 353%, 28% намаление на ИТ разходите и 55% подобрение на оперативната ефективност. Няколко компании вече прилагат тази платформа на Google. Anthropic планира да използва до 1 милион TPU, за да изпълнява и разширява семейството си от AI модели Claude, като се позовава на значително съотношение между цена и производителност. Lightricks е започнала да внедрява Ironwood за обучение и поддръжка на своята мултимодална система LTX-2.

Пълните спецификации на универсалните процесори Axion все още не са публикувани, по-конкретно не са разкрити тактовите честоти и използваната технологична схема. Съобщава се, че процесорите разполагат с 2MB кеш от второ ниво на ядро, 80MB кеш от трето ниво, поддържат памет DDR5-5600 MT/s и технологията Uniform Memory Access (UMA).

Известно е, че Axion е изграден на базата на платформата Arm Neoverse v2 и се очаква да осигури до 50% по-висока производителност и до 60% по-голяма енергийна ефективност в сравнение с днешните процесори x86. Google твърди, че той е и с 30% по-бърз от „най-бързите универсални инстанции, базирани на Arm, които са налични в облака днес“.

Процесорите Axion могат да се използват както в сървъри за изкуствен интелект, така и в сървъри с общо предназначение за различни задачи. В момента Google предлага три конфигурации на Axion: C4A, N4A и C4A Metal.

C4A осигурява до 72 виртуални процесора, 576GB DDR5 памет и 100Gbps мрежова свързаност, комбинирани с до 6TB Titanium SSD локално хранилище. Инстанцията е оптимизирана за постоянно висока производителност в различни приложения. Това е единственият наличен днес чип.

N4A е проектиран за общи работни натоварвания, като например обработка на данни, уеб услуги и среди за разработка, но се мащабира до 64 виртуални процесора, 512GB DDR5 RAM и 50Gbps мрежова свързаност.

C4A Metal предоставя на клиентите пълния хардуерен стек на Axion: до 96 виртуални процесора, 768 GB DDR5 памет и 100 Gbps мрежова пропускателна способност. Екземплярът е предназначен за специализирани или ограничени от лиценз приложения, както и за ARM-базирани разработки.

Процесорът Axion допълва портфолиото от специализирани чипове на компанията, а TPU Ironwood създава основата за конкуренция с най-добрите ускорители на изкуствен интелект на пазара. Сървърите, базирани на Axion и Ironwood разполагат с патентованите от компанията контролери Titanium, които разтоварват процесора от задачите за обработка на мрежи, сигурност и входно-изходни данни, като осигуряват по-ефективно управление и в резултат на това по-висока производителност.