AI ускорителите достигнаха лимита на скоростта на HBM и проблемът е по-сериозен от недостига на памет

Според оценки на бранша съвременните ускорители на изкуствен интелект са достигнали етап от своето развитие, в който широчината на честотната лента на интерфейса на паметта се превръща в пречка за по-нататъшното мащабиране на производителността. Недостигът на памет или капацитетът на паметта отстъпва на заден план в това отношение и премахването на тази бариера зависи основно от дизайнерите на графични процесори и големи езикови модели.

Според съоснователя на Majestic Labs Ша Рабии, цитиран от CNBC, докато самите изчислителни ускорители са напреднали в скоростта си доста през последните години, съпътстващата ги памет не е станала много по-бърза. Всъщност именно производителността на паметта сега ограничава по-нататъшното нарастване на скоростта на големите езикови модели. При все това преминаването към правене на умозаключения ще увеличи нуждите от още по-голям капацитет на паметта, така че търсенето ѝ ще нарасне много бързо. Във всеки случай, колкото повече памет има AI инфраструктурата, толкова повече клиенти може да обслужва за единица време. Основателят на Nvidia Дженсен Хуанг също говори за необходимостта от увеличаване на производството на памет на CES 2026. Той дори отбеляза, че купувачите на решенията на компаниите за игри, като графични карти и конзоли, са „обидени“ от AI индустрията, тъй като недостигът на памет води до повишаване на цените дори в тези свързани пазарни сегменти.

Дори планираното от AMD и Nvidia преминаване към памет от типа HBM4 няма да реши напълно проблема с пропускателната способност. Паметта от тази фамилия все още е ограничена по отношение на броя на каналите и височината на стека на чипа, да не говорим за ширината на интерфейса. Изчислителната честотна лента би могла да се мащабира много по-ефективно, ако не бяха присъщите на HBM ограничения. При тези условия няма смисъл да се увеличава броя на изчислителните блокове в графичния процесор, тъй като паметта няма да може да се справи с изчислителните натоварвания, свързани както с обучението, така и с умозаключенията на големите езикови модели.

Методите за опаковане на чиповете, с които разполагат разработчиците на компоненти, също действат като специфичен ограничаващ фактор; в условията на високо търсене капацитетът на профилите е силно натоварен, което изостря недостига на високоскоростна памет и увеличава разходите на производителите.

На архитектурно ниво разработчиците се опитват да проучат алтернативи, като например извършване на изчисления директно в чиповете с памет (PIM), увеличаване на плътността на разположението на чиповете в стека на паметта и използване на усъвършенствани UCIe интерфейси в многочипови решения, които не само увеличават ефективната пропускателна способност, но и намаляват закъснението на данните. Темпото на по-нататъшното мащабиране на инфраструктурата за изкуствен интелект ще зависи от напредъка при въвеждането на по-бърза памет.

HBM4 ще предлага един път и половина по-висока производителност от HBM3E, позволявайки да се прехвърлят до 2 терабайта данни в секунда по по-широката ѝ 2048-битова шина. До 2027 г. на арената ще навлезе паметта от типа HBM4E, която потенциално ще увеличи скоростта на трансфер на данни с още 1,5 пъти. Въвеждането на интерфейса CXL също трябва да спомогне за подобряване на ефективността на обмена на данни между компонентите на компютърните системи. По отношение на паметта преходът към CXL ще осигури увеличаване на използването с 50%, както и намаляване на консумацията на енергия с до 20-30%. Появата на нови методи за триизмерно разположение на паметите също трябва да допринесе за подобряване на производителността и намаляване на консумацията на енергия.