Пет пъти по-енергоефективен от H100: HyperAccel разработва икономичния чип Bertha 500 за ИИ-инференс

Южнокорейският стартъп HyperAccel, според EETimes, се готви да пусне Bertha 500 — специализиран чип, предназначен за ИИ-инференс. Благодарение на уникалната си архитектура, се твърди, че чипът генерира пет пъти повече токени в секунда от решенията, базирани на графични процесори, при същото ниво на TOPS.

Bertha 500 поставя силен акцент върху ефективността на разходите. За тази цел той използва LPDDR памет вместо скъпата HBM. Чрез елиминиране на традиционната йерархия на паметта, той постига 90% използване на честотната лента на LPDDR. Допълнителни подобрения в ефективността се постигат чрез оптимизиране на архитектурата специално за задачите за инференс. За сравнение, HyperAccel твърди, че GPU инференсът използва само около 45% от пропускателната способност на паметта и 30% от изчислителните ресурси. С други думи, жертвайки малка част от производителността, чипът Bertha 500 постига значителни икономии на разходи.

Bertha 500 ще бъде произведен с помощта на 4nm технологичен процес на Samsung. Чипът разполага с 32 LPU (LLM Processing Unit) ядра, четири Arm Cortex-A53 ядра и 256 MB SRAM. Памет подсистемата LPDDR5x използва осем канала, предлагайки пропускателна способност до 560 GB/s. Заявената производителност на изкуствения интелект за INT8 операциите е 768 TOPS. Поддържат се и други 16-, 8- и 4-битови формати, включително FP16. Като цяло HyperAccel твърди, че Bertha 500 предлага приблизително 20 пъти по-голяма пропускателна способност на долар от NVIDIA H100, като същевременно предлага пет пъти по-висока енергийна ефективност. Чипът Bertha 500 ще консумира приблизително 250 вата.

Софтуерният стек на HyperAccel поддържа всички модели в хранилището HuggingFace. Компанията работи и върху предметно-ориентиран език (DSL), наречен Legato, който ще предостави на разработчиците ниско ниво на достъп до системата. Образците на Bertha 500 ще бъдат налични до края на първото тримесечие на 2026 г., като масовото производство е планирано за началото на 2027 г.

Отбелязва се също, че стартъпът работи с LG за разработването на опростена версия на Bertha 500 за периферните устройства — Bertha 100. Този SoC ще включва ядрата Arm Cortex-A55 и избраните LG компоненти, както и двуканална памет от типа LPDDR5x. Потенциалните приложения включват автомобилната индустрия, потребителската електроника и роботиката. Bertha 100 е планирано да се произвежда в M.2 модули, като първите бройки се очакват през четвъртото тримесечие на тази година. Решението ще може например да преобразува текст в реч или реч в текст.

HyperAccel е основана от Джуйонг Ким, който е професор в Корейския институт за напреднали науки и технологии (KAIST), и група негови студенти в началото на 2023 г. Към днешна дата компанията е набрала 45 милиона долара финансиране и се оценява на 200 милиона долара. В нея работят приблизително 80 души. Първият продукт на HyperAccel е специализираният сървър Orion, базиран на FPGA, предназначен за решаване на ИИ-задачи.