Nvidia пусна NVLM 1.0 – собствен мултимодален LLM, който в някои тестове превъзхожда GPT-4o

NVLM 1.0 (NVIDIA Vision Language Model) – това е семейство отворени мултимодални LLM, състоящи се от моделите NVLM-D (Decoder-only Model), NVLM-X (X-attention Model) и NVLM-H (Hybrid Model) на 34В и 72В. Моделите особено добре се представят на визуалните задачи. Например, в бенчмарка OCRBench, който проверява способността на моделите да четат текст от картинки, NVLM-D превъзхожда дори GPT-4o – последният мултимодален модел на OpenAI. Моделът също разбира мемове, разбира човешкия почерк и е добър в отговарянето на въпроси, които са чувствителни към точното местоположение на нещо в картината.

При въпроси по математика, моделът също се отличава: той превъзхожда LLM на Google и е само на 3 точки зад флагманския модел Claude 3.5 от известния стартъп Anthropic. Таблицата по-долу показва всички публикувани тестове, което показва колко високо е стигнала Nvidia в сравнение с други отворени модели (дори и по-големите).

Трите различни модела от семейството имат сходна архитектура, но са с различни функции и по-специално обработват изображенията по различен начин. NVLM-D използва предварително обучен енкодер за изображенията, който е свързан към конвенционален двуслоен перцептрон. NVLM-X използва механизма за кръстосано внимание при обработка на токените за изображенията. Всеки подход има недостатъци и предимства. Например NVLM-D е по-икономичен по отношение на броя на параметрите, но консумира повече GPU мощ и е по-лош при обработката на изображения с висока разделителна способност от NVLM-X. Така моделът NVLM-H се превърна в нещо средно между ефективния и бърз NVLM-D и точния NVLM-X.