Nous Research представи Hermes 4 – AI на ниво GPT-4o и без вградена цензура

Стартъпът Nous Research представи Hermes 4 – семейство от големи езикови модели с отворен код. Техните възможности са сравними с водещите комерсиални изкуствени интелекти на OpenAI и Anthropic, като показват високи резултати в тестовете по математика и програмиране. Основната характеристика на Hermes 4 е готовността му да отговаря на широк кръг от въпроси практически без ограничения. За разлика от GPT-4o, който често избягва спорните теми, този модел не съдържа вградени инструменти за цензура.

Hermes 4 включва три модела с размерност 14, 70 и 405 милиарда параметри. Те използват механизъм за „хибридно разсъждение“: моделът може да дава бързи отговори или да разгръща подробни поетапни анализи вътре в таговете <think>…</think>, което позволява на потребителя да види хода на мисълта. Това осигурява удобно превключване между скоростта и дълбочината на обработка на информацията.

В тестовете по математика Hermes 4 достигна нивото на най-скъпите комерсиални проекти: най-голямата версия (405B) получи 96,3% в MATH-500, 81,9% в AIME’24 и 78,1% в AIME’25. Моделът също така постигна 70,5% в GPQA Diamond (точни науки) и 61,3% в LiveCodeBench (програмиране). В бенчмарка RefusalBench, който Nous Research разработи, за да оцени склонността на ИИ да се проваля, Hermes 4 постигна 57,1% – в пъти по-добре от Gemini 2,5 Pro (23,24%), GPT-4o (17,67%) и Claude Sonnet 4 (17%).

Nous Research умишлено избягва вградените инструменти за цензура, като подчертава, че потребителят, а не компанията, трябва да определя границите на приемливото съдържание.

Зад високите резултати се крие специален подход към обучението. Критичен компонент е системата DataForge, която генерира синтетични данни с помощта на насочен ацикличен граф (DAG). В този граф всеки възел определя условията и трансформациите, които позволяват постепенното усложняване на оригиналните данни. Така например системата може да вземе обикновена статия от Уикипедия, да я превърне в рап и след това да генерира двойки запитване-отговор въз основа на нея. Този процес позволява бързо и мащабно създаване на разнообразни учебни материали. Резултатът е около 5 милиона примера с общо 19 милиарда токена. Нещо повече, задачите за разсъждение бяха специално направени „по-дълги“ – средно пет пъти по-големи от обичайното – за да могат да поемат подробните вериги от мисли с дължина до 16 хиляди токена.

Друг елемент е Atropos – среда за обучение чрез подсилване със стотици специализирани „симулатори“. Моделите се упражняват чрез математически изчисления, програмиране, генериране на код и работа с формати, като само валидираните отговори попадат в крайните набори от данни.

Подобна селекция помага за формиране на модели на разсъждение, вместо да се запомнят готови решения.

Разработчиците са решили и проблема с прекалено дългите разсъждения: Младшата версия на модела с 14 милиарда параметри в 60% от случаите „влизаше в безкраен цикъл“, като запълваше контекста до максималната дължина, без да достигне до резултат. За да избегнат подобни неуспехи, те добавиха втора фаза на обучение, в която моделът беше специално обучен да прекратява разсъжденията точно на границата от 30 000 символа. Тази техника намалява зациклянето с 65-79%, като същевременно поддържа почти същото ниво на точност на отговорите.

Технически обучението е проведено на 192 ускорителя NVIDIA B200, като е използван фреймуърка TorchTitan. За да се справи с огромното количество данни, екипът използва оптимизирано пакетиране на извадките и паралелни изчисления. В крайна сметка екипът е успял да обработи 3,5 милиона примера с разсъждения и 1,6 милиона без разсъждения. Това е отнело 71 616 GPU часа – приблизително 15 дни при пълно натоварване на хардуера.

Nous Research позиционира Hermes 4 като „алтернатива на гигантите“, като набляга на отвореността и свободата на потребителя. Теглата на моделите вече са налични в Hugging Face, а API е интегриран в интерфейса за чат, като работат се поддържа от доставчиците на облачни услуги Chutes, Nebius и Luminal.