NVIDIA представи публично AR1 – първият AI мозък за роботи, който вижда, анализира и взема решения в реално време

Не е само модел, а цяла вселена: от лидари до хуманоиди в единна екосистема.

Точно когато изглежда, че границите на AI са изследвани, NVIDIA отново измества хоризонта. На конференцията NeurIPS компанията представи набор от модели с отворен код за физически и цифрови системи, които могат значително да ускорят напредъка в автономните превозни средства, роботиката и обработката на звук. Това не е просто поредната актуализация, а по-скоро покана за експериментиране за всеки, който се занимава с изследвания в областта на изкуствения интелект.

Основният фокус на дискусията е Alpamayo-R1, или просто AR1 – първият модел с отворен код, който съчетава зрението, езиковата интерпретация и действието в една логика на разсъждение. Този подход се нарича VLA и досега подобни комплекси не са били публично достъпни. AR1 се учи да анализира ситуацията стъпка по стъпка: анализира околната среда, начертава възможните траектории, съпоставя ги с контекста и избира най-безопасния вариант. Това е особено важно, когато движението става хаотично, например когато кръстовището е претъпкано с пешеходци, насрещно движещи се автомобили и внезапни препятствия като паркирани камиони отстрани на пътя.

AR1 се базира на платформата Cosmos Reason на NVIDIA и е достъпна за изследователи с отворен код за некомерсиална употреба. Отделна част от работата се фокусира върху това как обучението с подсилване подобрява способността на модела да формулира решенията си: по-дългите цикли на обучение чувствително засилват неговата логическа „интуиция“. Изходният код е достъпен в GitHub и Hugging Face, а някои от наборите за обучение са включени в отворените набори от данни NVIDIA Physical AI Open Datasets. За тестване е предоставена симулационната рамка AlpaSim, с която може да се провери поведението на модела в различни ситуации.

Но като цяло този модел е само върхът на една много по-голяма конструкция. Под бранда Cosmos се развива цяла екосистема от инструменти, предназначени за физически системи. LidarGen създава синтетични данни за симулация с лидар – ключова технология в безпилотните превозни средства. Omniverse NuRec Fixer помага да се подредят невронните реконструкции на 3D сцени. Cosmos Policy генерира правила за поведение на роботи, а ProtoMotions3 обучава хуманоидите в подробна виртуална среда, в която могат да се разиграват всякакви условия – от склад до градска улица.

Тези модели вече започнаха да проникват в работни проекти: партньори на NVIDIA, сред които Voxel51, 1X, Figure AI, Foretellix, Gatik, Oxa, PlusAI и X-Humanoid, ги използват за собствените си експерименти с автономни автомобили и роботи. Групата ETH Цюрих използва Cosmos за създаване на 3D сцени и представи първите резултати на същия NeurIPS.

Успоредно с това компанията укрепва позициите си в областта на цифровото моделиране. Пакетът на Nemotron получи няколко забележителни актуализации: MultiTalker Parakeet се научи да разпознава говора от множество говорители, Sortformer откроява гласовете в реално време, а новите трупи от синтетични данни са предназначени за обучение на системи за разсъждение и специфични за дадена област AI модели. На друго място в актуализацията се появи Audio Flamingo 3 – мащабен аудиомодел, способен да обработва звук, музика и реч в единна логика за анализ. Друга разработка, Minitron-SSM, свива хибридните модели без забележима загуба на точност.

Няколко финални щрихи са Jet-Nemotron и Nemotron-Flash, създадени специално за ускоряване на LLM изхода и намаляване на латентността. А в техническото описание NVIDIA се отбелязва, че дългосрочното обучение с подсилване – ProRL – помага на тези алгоритми постоянно да превъзхождат базовите версии по отношение на разсъжденията.

Artificial Analysis оценява, че семейството Nemotron вече е сред най-достъпните и прозрачни аналози на пазара. За изследователската общност това означава повече независими експерименти, по-разнообразни приложения и по-малко бариери между една идея и нейното валидиране.