Експлоатационният живот на графичните процесори в центровете за данни изглежда изненадващо кратък

Разбира се, в зависимост от работното натоварване и степента на използване.

Според високопоставен специалист на Alphabet, цитиран от изданието Tech Fund, графичните процесори за центрове за данни могат да издържат само от една до три години в зависимост от степента на използване. Тъй като GPU извършват цялата тежка работа по обучението и заключенията на изкуствения интелект, те са компонентите, които непрекъснато са подложени на значително натоварване и поради това деградират по-бързо от другите компоненти.

Степента на използване на графичните процесори за работни натоварвания с ИИ в център за данни, управляван от доставчици на облачни услуги (CSP), е между 60% и 70%. При такива нива на натоварване един графичен процесор обикновено оцелява между една и две години, най-много три години.

Според този специалист има начин да се удължи животът на графичните процесори: банално да се намали степента им на използване. Това обаче означава, че те ще се амортизират по-бавно и съответно ще възвръщат капитала си по-бавно, което не е особено добре за бизнеса, в резултат на което повечето доставчици на облачни услуги ще предпочетат да използват графичните си процесори при възможно най-висока степен на използване.

По-рано тази година Meta публикува проучване, в което описва обучението на своя модел Llama 3 405B на клъстер, оборудван с 16 384 графични процесора Nvidia H100 80GB. Коефициентът на използване на клъстера беше около 38 % (с използване на BF16) и въпреки това от 419 непредвидени прекъсвания (по време на 54-дневна извадка преди обучението) 148 (30,1 %) бяха предизвикани от различни откази на GPU (включително откази на NVLink), докато 72 (17,2%) бяха причинени от откази на HBM3 паметта.

Резултатите на Meta изглеждат доста благоприятни за графичните процесори H100. Ако графичните процесори и тяхната памет продължат да се повреждат с темповете, посочени от Meta, тогава годишният процент на отказите на тези процесори ще бъде около 9%, докато годишният процент на отказите на тези графични процесори след три години ще бъде приблизително 27%, въпреки че е твърде вероятно графичните процесори да се повреждат по-често след една година експлоатация.