Nvidia губи позиции: китайският изкуствен интелект се учи по-бързо и по-евтино

ByteDance и DeepSeek намират начини да заобиколят скъпите изчисления с помощта на GPU.

ByteDance, собственикът на TikTok, твърди, че е постигнал 1,71-кратно подобрение в ефективността на обучението на големите езикови модели (LLM), което може да намали зависимостта на китайските технологични компании от мощните графични процесори на Nvidia.

Разработчиците от Doubao обясняват пробива с внедряването на COMET – оптимизирания механизъм Mixture-of-Experts (MoE), който позволява по-ефективно разпределение на изчислителните ресурси. В статия на платформата arXiv те отбелязват, че технологията вече се използва в работните клъстери на ByteDance с повече от 10 000 графични процесора, като осигурява значителни икономии на изчислителна мощност.

MoE широко се използва за мащабиране на LLM до трилиони параметри при фиксирани изчислителни разходи. Този метод обаче досега се сблъскваше с проблема „припокриване на комуникацията и изчисленията“, което намаляваше ефективността. Новият подход на ByteDance премахва тясното място в комуникацията, което позволява по-висока скорост на обучение.

Постижението може да отслаби експозицията на Nvidia на китайския пазар, където нейните високопроизводителни чипове са обект на строги ограничения за износ от САЩ. Подобни събития и преди са предизвиквали колебания в пазарната стойност на Nvidia: през февруари, след успеха на китайския DeepSeek, компанията загуби 600 млрд. долара от капитализацията си в рамките на само един ден, въпреки че оттогава се възстанови.

ByteDance планира да отвори кода на новата система, за да насърчи по- нататъшните подобрения в машинното обучение. Междувременно други китайски технологични гиганти също ускоряват развитието на ИИ. И още, наскоро група американски учени, сред които и Ли Фейфей, представиха нов модел за логически разсъждения, обучен само за 26 минути на 16 графични процесора Nvidia H100, използвайки алгоритмите на Alibaba.