10 пъти по-бързо от Nvidia: Groq предлага качествено нов подход към изграждането на хардуера за изкуствен интелект

Безпрецедентната скорост на изчисленията оставя всички конкуренти далеч назад.

Компанията Groq (да не се бърка с чатбота Grok на Илън Мъск) разработва специализиран хардуер за изкуствен интелект. Тя има за цел да направи генерирането на отговори с изкуствен интелект 75 пъти по-бързо от средната скорост на човешкото печатане. Това е особено важно за незабавното извличане на информация при общуване с чатботове или съставяне на имейли.

Groq се фокусира върху създаването на високопроизводителни процесори и софтуерни решения за изкуствения интелект, машинното обучение и приложенията за високопроизводителни изчисления. AI ентусиастите вече оценяват безпрецедентната скорост на собствената платформа на компанията и сериозно я наричат „убиецът на ChatGPT„.

Въпреки че Groq не предоставя собствени езикови модели, той е в състояние значително да ускори работата на съществуващите LLM чрез използването на високо оптимизиран хардуер собствена разработка. Експертите вече отбелязаха иновативния дизайн на чипа, високата скалируемост и енергийната ефективност.

Отличителна черта на Groq е използването на специално разработен хардуер. Това са т.нар. линейни процесори (LPU), предназначени специално за работа с големи езикови модели. Те са в противовес на традиционно използваните графични процесори (GPU), оптимизирани предимно за паралелна графична обработка.

Благодарение на уникалната си архитектура LPU решенията на Groq показват до 10 пъти по-висока скорост на обработка от решенията, базирани на GPU. Това ги прави идеални за работа с поредици от данни, включително ДНК, музика, код и, разбира се, естествен език.

Groq твърди, че нейните клиенти вече използват патентованите LPU и API на компанията за високоскоростна обработка на езиковите модели. Компанията предлага възможност за безплатно тестване на своята система без необходимост от инсталиране на допълнителен софтуер. Тя поддържа модели като Meta’s Llama 2, Mixtral-8x7b и Mistral 7B.

Том Елис от Groq потвърди, че се работи и по собствен езиков модел, но засега компанията е съсредоточена върху разработването на своите продукти с отворен код и специализиран хардуер.