DeepSeek стана рекордно бърз само с 16 чипа SambaNova – ще са необходими 20 пъти повече Nvidia чипове

Стартъпът в областта на изкуствения интелект SambaNova Systems, който бе основан през 2017 г. от възпитаници на Sun, Oracle и Stanford, обяви най-бързата в света система за внедряване на моделите DeepSeek-R1 671B. За оборудването на Nvidia такива индикатори не са налични.

SambaNova постигна производителност на DeepSeek-R1 от 198 токена в секунда само на 16 специално изготвени ускорителя – постижение, което ще изисква разполагането на 40 стека с 320 графични Nvidia процесора. „SambaNova на базата на чиповете SN40L RDU се превърна в най-бързата платформа за стартиране на DeepSeek. Това е петкратно увеличение спрямо скоростта на най-новия графичен процесор на един стек и до края на годината ще предложим 100 пъти повече капацитет за DeepSeek-R1” — обеща съоснователят и главен изпълнителен директор на SambaNova Родриго Лианг.

Ресурсоемките работни натоварвания на изкуствения интелект традиционно се обезпечават от графичните процесори на Nvidia, но SambaNova казва, че създадената от тях компактна конфигурируема архитектура на потока от данни е по-ефективното решение. Хардуерът му работи три пъти по-бързо и консумира пет пъти по-малко енергия от най-мощните съвременни графични процесори, като същевременно запазва пълната изчислителна мощност на модела DeepSeek-R1. Постижението беше потвърдено от експерти от Artificial Analysis — компания, която извършва независими оценки на AI-системите.

Моделът DeepSeek-R1 671B с отворен код е достъпен в облака на SambaNova чрез API. Компанията активно увеличава капацитета си и се надява в близко бъдеще да достигне обща производителност от 20 000 токена в секунда.