AMD почти постига 30-кратната цел за енергийна ефективност година по-рано – новите ИИ сървъри на AMD са 28,3 пъти по-ефективни от версиите през 2020 година

Ефективността на производителността е от ключово значение за бързото увеличаване на бързодействието на процесорите за изкуствен интелект и за високопроизводителните изчислителни технологии, така че AMD и другите компании водят ожесточена борба за нея с всяко ново поколение продукти. Още през 2021 г. компанията си постави за цел до 2025 г. да увеличи енергийната ефективност на своите процесори EPYC и ускорители Instinct невероятните 30 пъти в сравнение с 2020 г. Изглежда, че с най-новите си процесори EPYC от серията 9005 „Turin“ и графичните процесори Instinct MI300X тя на практика е постигнала целта си, при това година по-рано.

За да докаже своята гледна точка, AMD използва машина, оборудвана с два 64-ядрени процесора EPYC 9575F, осем ускорителя Instinct MI300X и 2304 GB памет DDR5. На нея компанията тества производителността на генериране на изводите в модела Llama3.1-70B (vLLM 0.6.1.post2, TP8 Parallel, FP8, continuous batching). Използвайки сложен набор от изчисления, AMD определи енергийната ефективност на тази система и я сравни с неразкрита машина от 2020 г., като констатира, че новата машина е 28,3 пъти по-енергийно ефективна от старата.

AMD не разкрива спецификациите на своята система от 2020 г., но можем да предположим, че тя е базирана на процесорите на компанията от серията EPYC 7002, които се базират на микроархитектурата Zen 2 с до 64 ядра на процесор, и ускорителите Instinct MI100, които са базирани на архитектурата CDNA 1.

Instinct MI100 на AMD не поддържа FP8 (за разлика от MI300X, който го поддържа в същата степен като INT8), въпреки че ако сравним производителността на INT8 на MI100 (184,6 TOPS) и MI300X (2615 TOPS/5230 TOPS със sparsity), разликата ще бъде 14 – 28 пъти. Приблизително същата разлика може да се наблюдава и при FP16, така че сравнението е валидно. Когато вземем предвид драстично по-добрите подсистеми за памет (32 GB HBM2 с 1,20 GB/s срещу 192 GB HBM3 с 5,30 GB/s) и драматично по-добрите процесори, не е изненада, че сегашните машини на AMD са драстично по-бързи и по-производителни от системите ѝ от 2020 г. В случая се набляга най-вече на факта, че едновременно с това те са десетки пъти по-икономични.