Google представи най-бързия си ускорител за изкуствен интелект – Cloud v5p

Google официално обяви излизането на новия си голям езиков модел Gemini. Заедно с него компанията представи и новия си изчислителен ускорител за изкуствен интелект Cloud TPU v5e (Tensor processing unit). Клъстерът, базиран на новите TPU, се състои от 8960 чипа v5p и разполага с най-бързата междусистемна връзка на Google – скоростта на трансфера на данни може да достигне 4800 Gbps на чип.

Cloud TPU v5e е оборудван с 95 GB памет HBM3 с пропускателна способност от 2765 GBytes/s. Производителността при целочислените операции INT8 е 918 TOPS (трилиона операции в секунда), а производителността при операциите с плаваща запетая BF16 е 459 Tflops.

Google допълва, че новите чипове са значително по-бързи от предишното поколение TPU v4. Новият Cloud TPU v5p предлага два пъти по-висока производителност при операциите с плаваща запетая (FLOPS) и три пъти по-голям капацитет на паметта с висока пропускателна способност.

Според Google новите ускорители TPU v5p могат да обучават големи езикови модели, като GPT-3 със 175 милиарда параметри, 2,8 пъти по-бързо от TPU v4, като същевременно използват по-малко енергия. Освен това, благодарение на второто поколение SparseCore, TPU v5p може да обучава embedding-dense моделите 1,9 пъти по-бързо от TPU v4. В допълнение към подобрената производителност TPU v5p осигурява два пъти по-голяма мащабируемост от TPU v4, което в комбинация с удвоената производителност осигурява четири пъти повече изчисления на клъстер.