AMD и Intel обединиха усилията си: производителността на x86 при матрични изчисления се увеличи 16 пъти

През октомври 2024 година AMD и Intel съвместно създадоха Консултативната група за екосистемата x86 (x86 Ecosystem Advisory Group, EAG), обединявайки водещите участници в бранша с цел да насърчат бъдещето на x86 изчислителната архитектура.

В момента на създаването на EAG бяха обявени четири ключови функции: FRED, AVX10, ChkTag и ACE. Сега AMD и Intel публикуваха технически документ (бяла книга) за архитектурата ACE, като официално представиха този набор от инструкции, наречен „стандартна матрична ускоряваща архитектура x86“, пред общността на разработчиците.

Основната цел на ACE е да осигури скокообразно увеличение на производителността на матричните изчисления на x86 чипове.
Матричното изчисление е основна операция за невронните мрежи и големите езикови модели. Съществуващите SIMD инструкции като AVX10, макар и способни да изпълняват матрични операции, имат явни ограничения по отношение на изчислителната плътност и мащабируемостта.

ACE въвежда механизъм за ускоряване на матрици, базиран на операцията външно произведение, което позволява да се постигне 16 пъти по-висока изчислителна плътност в сравнение с еквивалентните операции за умножение-натрупване на AVX10 при същите входни вектори.
Що се отнася до поддръжката на формати на данни, от самото начало ACE обхваща съвременните стандарти за точност, използвани в областта на AI, включително INT8, OCP FP8, OCP MXFP8, OCP MXINT8 и BF16.

Като разширение на набора от инструкции AVX10, адаптирането на софтуерната екосистема за ACE вече е в ход. Библиотеки от ниско ниво за дълбоко обучение и HPC, Python библиотеки за научни изчисления, като NumPy и SciPy, както и основни рамки за машинно обучение, включително PyTorch и TensorFlow вече са започнали интеграция.

AMD и Intel подчертават в техническия документ, че философията на ACE е ниско триене и широк обхват. От лаптопи до суперкомпютри – разработчиците няма да се налага да преписват кода за различни хардуерни платформи. Това представлява рязък контраст с подхода, предполагащ прехвърляне на изчисленията за изкуствен интелект към специализирани ускорители, което често изисква допълнителна адаптация на кода и води до допълнителни разходи за миграция.

Тук си струва да припомним и думите на главния изпълнителен директор на Nvidia, който наскоро открито призна, че тясното сътрудничество между бившите конкуренти е било необходима стъпка, за да се запази архитектурата x86 жива в ерата на динамичното развитие на изкуствения интелект.