ИИ суперкомпютърът NVIDIA EOS с 11 хил. ускорителя H100 постави рекорди в бенчмарковете за обучение на MLPerf

NVIDIA официално представи своя нов суперкомпютър EOS AI, обявен още през пролетта на миналата година. Оттогава насам обаче машината е пораснала – сега тя включва 10 752 ускорителя H100 наведнъж, а производителността ѝ по FP8 е 42,6 Eflops. Нещо повече, на практика същата система е на разположение на Microsoft Azure и всеки, който има достатъчно пари, може да наеме част от нея.

EOS разполага с около 860 терабайта памет от типа HBM3 с обща пропускателна способност от 36 Pbyte/s. За междусистемната връзка този показател е 1,1 Пбайт/сек. В този случай 32-та възли DGX H100 са обединени чрез NVLink в SuperPOD модул, а 400G мрежа, базирана на Quantum-2 комутатори (InfiniBand NDR), отговаря за целия останал обмен на данни. В случая с Microsoft Azure конфигурацията на машината е почти идентична, като единствената разлика е, че тя има достъп до облачните клъстери.

MLPerf Training постави шест рекорда за всички времена в бенчмарковете GPT-3 175B, Stable Diffusion (появява се само в този рунд), DLRM-dcnv2, BERT-Large, RetinaNet и 3D U-Net. Този път NVIDIA отново не се сдържа и добави щипка маркетинг към класациите си – когато имате време за изпълнение на теста от десетки секунди, е малко неспортсменско да сравнявате резултатите си с клъстери с многократно по-малко ускорители. Любопитно е, че и този път се налага да сравняваме H100 с Habana Gaudi 2, тъй като Intel не се притеснява да покаже резултатите от теста.