AI ще се справи и без Nvidia: Amazon пусна системи на базата на чиповете Trainium2, а година по-късно ще бъде пуснат и Trainium3

Подразделението Amazon Web Services (AWS) на Amazon обяви на конференцията re:Invent, че клиентите на неговата облачна платформа вече могат да използват системи с ускорителите Trainium2, предназначени да обучават и управляват големи езикови модели с изкуствен интелект.

Представените миналата година чипове са четири пъти по-бързи от своите предшественици: един екземпляр EC2 с 16 ускорителя Trainium2 предлага производителност до 20,8 Pflops. Това означава, че при внедряването на мащабния модел Meta Llama 405B на платформата Amazon Bedrock, клиентът ще получи „три пъти по-висока скорост за генериране на токени в сравнение с други достъпни предложения от големите облачни провайдери“. Можете също да изберете системата EC2 Trn2 UltraServer с 64 ускорителя Trainium2 и производителност 83,2 Pflops. Отбелязва се, че показателят 20,8 Pflops се отнася за плътните модели и точност от FP8, а 83,2 Pflops — за разредените модели и FP8. За връзката между ускорителите в системите UltraServer се използва интерконектора NeuronLink.

Заедно с партньора си Anthropic, основният конкурент на OpanAI в областта на големите езикови модели, AWS възнамерява да изгради голям клъстер от системи UltraServer със „стотици хиляди Trainium2 чипове“, където стартъпът може да обучава своите модели. Той ще бъде пет пъти по-мощен от клъстера, на който Anthropic е обучил сегашното си поколение модели – AWS изчислява, че ще бъде „най-големият изчислителен клъстер в света“. Проектът ще помогне на компанията да надмине производителността, постигната от настоящите ускорители на Nvidia, които все още са в голямо търсене и остават в дефицит. Въпреки че в началото на следващата година Nvidia се готви да пусне ново поколение ускорители Blackwell, които със 72 чипа на стелаж ще предлагат до 720 Pflops за FP8.

Може би затова AWS вече обяви следващото поколение ускорители Trainium3, които предлагат още едно четирикратно увеличение на производителността за UltraServer системите — ускорителите ще бъдат произведени по 3 nm технологичен процес и тяхното внедряване ще започне в края на 2025 г. Компанията оправда необходимостта от системи от ново поколение с факта, че съвременните AI модели се доближават до трилиони параметри по мащаб. Понастоящем образците Trn2 са налични само в US East региона на инфраструктурата на AWS, но скоро ще се появят и в други; В момента системите UltraServer работят в режим на предварителен достъп.