Nvidia представи Nemotron 3 Super 120B – LLM с отворен код за AI агенти с пет пъти по-висока скорост

Nvidia представи Nemotron 3 Super – модел за изкуствен интелект с отворен код Mixture-of-Experts (MoE) с поддръжката на 120 милиарда споделени параметри и 12 милиарда активни параметри, предназначен за задачи с изкуствен интелект, базирани на агенти. Моделът използва хибридната архитектура Mamba-Transformer.

Според Nvidia моделът Nemotron 3 Super е първият модел от серията Nemotron 3, който съчетава парадигмата LatentMoE, слоевете Multi-Token Prediction и предварителното обучение NVFP4. Компанията твърди, че този стек подобрява точността и ускорява умозаключенията, а хибридната архитектура на Nemotron 3 Super осигурява до пет пъти по-висока производителност и до два пъти по-висока точност от предишния модел Nemotron Super. Компанията отбелязва също така поддръжка на контекстен прозорец от 1 милион токена, който позволява на агентно-базирания ИИ да съхранява в паметта си пълното състояние на работния процес и да предотвратява отклонение от целта.

Nemotron 3 Super е подходящ за решаване на сложни задачи в рамките на многоагентна система. Например за генериране на код и отстраняване на грешки без сегментиране на документите, за финансов анализ, при който в паметта могат да бъдат заредени хиляди страници с отчети.

Моделът е обучен върху синтетични данни, генерирани с помощта на модели за логическо мислене. Nvidia публикува пълната методология, включваща повече от 10 трилиона токена от набори от данни преди и след обучението, 15 среди за обучение чрез подсилване и рецепти за оценка. Изследователите могат допълнително да използват платформата NeMo на Nvidia, за да настроят фино модела или да създадат свой собствен.

Nemotron 3 Super поддържа работа върху платформата Blackwell на Nvidia във формат NVFP4. Това намалява изискванията за памет и ускорява извеждането на резултатите четири пъти по-бързо от FP8 на Nvidia Hopper без загуба на точност.

Моделът вече е на разположение за използване. Достъпът до Nemotron 3 Super е възможен чрез build.nvidia.com, Hugging Face, OpenRouter и Perplexity, а сред партньорите в облака и изводите са Google Cloud Vertex AI, Oracle Cloud Infrastructure, CoreWeave, Together AI, Baseten, Cloudflare, DeepInfra, Fireworks AI и Modal. Моделът е представен и като микроуслугата Nvidia NIM за локално и облачно внедряване.