120 милиарда параметри на един 80-гигабайтов графичен процесор – OpenAI залага на MXFP4, оспорвайки монопола на NVIDIA

OpenAI излезе на ринга с 4 бита и остана без опоненти.

OpenAI представи нови модели с отворено тегло – gpt-oss – но фокусът беше не толкова върху самите модели, колкото върху формата MXFP4, който компанията използва за тяхното количествено определяне. Този непознат тип данни, ако бъде възприет от другите разработчици, би могъл радикално да намали разходите за внедряване и работа с големите езикови модели.

MXFP4 е 4-битов формат на числа с плаваща запетая, разработен като част от инициативата Open Compute Project. Но за разлика от конвенционалния FP4 този формат използва микромащабируема блокова структура, за да компенсира ограничената точност чрез прилагане на общ фактор на мащабиране към малките групи от стойности. Всеки блок, състоящ се по подразбиране от 32 числа, се кодира с помощта на общ 8-битов експоненциален множител.

Този подход позволява оригиналните стойности да бъдат преобразувани в по-точни представяния от конвенционалния FP4. Един пример с четири числа във формат BF16 – 0,0625, 0,375, 0,078125 и 0,25 – показва, че при директното преобразуване в FP4 те се закръглят до 0, 0,5, 0 и 0,5, като се губи значителна част от информацията. Във формат MXFP4, след мащабирането и обратното преобразуване, те са по-близки до оригиналните стойности – 0,0625, 0,375, 0,09375 и 0,25.

Казано по-просто: MXFP4 е нов тип представяне на числата, изобретен, за да може езиковите модели като ChatGPT да заемат по-малко място и да работят по-бързо. Обикновено тези модели съхраняват милиарди числа с висока точност, което изисква много видеопамет и мощен хардуер. MXFP4 намалява размера на тези числа до само 4 бита, но не директно, а чрез хитър трик: взема група стойности и ги мащабира по общата им стойност. Това помага да се запази точността въпреки малкия размер на всяко число.

Използването на MXFP4 може значително да намали количеството видеопамет, широчината на честотната лента и изискванията за изчислителни ресурси, особено при изводите. В случай на модели, обучени във формат BF16, преминаването към MXFP4 може да намали разходите със 75%. Това го прави особено привлекателен за облачните платформи и компаниите, които искат да стартират модели на по-достъпна инфраструктура.

Според OpenAI 90% от теглата в модела gpt-oss са конвертирани в MXFP4, което позволява моделът със 120 милиарда параметри да работи на графични процесори с 80 GB видеопамет, а версията с 20 милиарда параметри – на устройства с 16 GB. В същото време ускорението на генерирането на токени достига четирикратна стойност.

Увеличаването на производителността се обяснява с факта, че броят на операциите с плаваща запетая, които могат да бъдат изпълнени от чипа, се увеличава с намаляването на размера на бита на формата. Например B200 на NVIDIA може да се справи с около 2,2 петафлопа в BF16, но производителността се увеличава до 9 петафлопа при преминаване към FP4. Дори когато FP4 не се поддържа на хардуерно ниво, както в случая с H100, моделите с формат MXFP4 работят правилно, макар и не напълно ефективно.

Въпреки че идеята за количествено определяне на теглото е известна отдавна, много модели в 4-битови или FP8 формати се възприемат като компромис поради загубата на качество. В случая с MXFP4 загубата е минимална, но все пак съществува. NVIDIA, например, смята, че блоковете от 32 стойности не са достатъчно точни и популяризира свой собствен формат NVFP4 с по-малки блокове и мащабиране на базата на FP8.

Въпреки това OpenAI вече е направила своя избор в полза на MXFP4: няма gpt-oss модели във формат BF16 или FP8. Това решение всъщност изпраща сигнал към индустрията: ако OpenAI намира MXFP4 за приемлив, другите участници на пазара трябва поне да го разгледат по-отблизо.

За доставчиците на облачни услуги това би могло да бъде чудесна новина – поддържането на тези модели ще изисква по-малко ресурси, което ги прави по-евтини и по-достъпни. И ако други компании последват примера на OpenAI, преминаването към MXFP4 може да се превърне в индустриален стандарт – не само поради технологичните аргументи, но и поради лидерската позиция.