132 токена в секунда? SambaNova унищожи всички конкуренти в ИИ индустрията

Стартъпът за изкуствен интелект, който носи името SambaNova, наскоро представи свое собствено облачно ИИ решение, като заяви, че може да обслужва най-големите модели на Meta много по-бързо от конкуренцията.

Компанията твърди, че нейната нова платформа може да обработва модела Llama 3.1, състоящ се от 405 млрд. параметъра, с рекордната скорост от над 132 токена в секунда. Това далеч надхвърля производителността дори на най-мощните системи, базирани на графични процесори.

Родриго Лианг, главен изпълнителен директор на SambaNova, заяви, че по отношение на скоростта на обработка на токени превъзхожда минимум два пъти най-близките конкуренти. Думите на Лианг бяха илюстрирани и със сравнителна графика от Artificial Analysis.

Моделът Llama 3.1, представен от Meta тази година, въпреки че отстъпва по размер на конкуренцията от страна на OpenAI и Google, все още изисква огромни изчислителни ресурси. Работата на този модел с пълна 16-битова точност изисква повече от 810 GB памет. За да постигне такава висока производителност, SambaNova използва 16 от своите ускорители SN40L с голяма пропускателна способност и значителни размери на кеша.

Специална характеристика на архитектурата SN40L е възможността да се избягват тесните места, които често се появяват в многоядрените системи с графични процесори. Според Антон Макгонел, ръководител на продуктовата линия на SambaNova, техните ускорители имат големи обеми кеш памет, което им позволява да поддържат високи скорости на обработка и да мащабират производителността при обработката на множество заявки едновременно.

Въпреки високото ниво на точност обаче SambaNova трябваше да направи компромис, като намали контекстния прозорец на модела от 128 хил. токена на 8 хил. токена. Това ограничение е въведено, за да се осигури стабилна производителност при голям поток от заявки, но може да повлияе на използването на модела при задачи с дълъг контекст, като например обработката на документи.

Облачната платформа SambaNova предлага както безплатни, така и корпоративни тарифи. Компанията планира скоро да пусне и версия за разработчици, която ще позволи на потребителите да създават свои собствени модели, базирани на Llama 3.1.

Междувременно конкуренцията в областта на ускорителите на изкуствен интелект не стои на едно място. Така например в края на август Cerebras представи своя облачна платформа, която може да обработва до 450 токена в секунда при модела Llama 3.1 със 70 млрд. параметъра. Освен това тя планира да увеличи скоростта до 350 токена за модела с 405 млрд. параметри. По този начин в бъдеще Cerebras ще може да надмине SambaNova по отношение на производителността.

Други играчи на пазара, като Groq, също продължават да разработват своите решения, което допълнително разгорещява конкуренцията за титлата на най-бързия доставчик на инфраструктура за изкуствен интелект.