Meta представи MobileLLM-Pro – модел работещ без облак, който съдържа 128 хил. токена

Моделът с 1 млрд. параметри не изисква връзка с електронен облак.

Meta Reality Labs представи MobileLLM-P1 (Pro) – компактен езиков модел с 1 млрд. параметри, предназначен да работи без връзка с облак. Той може да изпълнява обичайни задачи като отговаряне на въпроси, перифразиране и обобщаване на текст директно на устройството – локално. Моделът и файловете му са достъпни в сайта Hugging Face.

В серията MobileLLM има два варианта: основна и предварително обучена учебна версия. И двата са с отворен код и включват готови контролни точки (checkpoints) за процесори и мобилни ускорители.

Според Meta базовата версия на MobileLLM-Pro се представя по-добре от Gemma 3 1B и Llama 3.2 1B – с 5,7% и 7,9% по-високо при задачите за разсъждаване, извличане на знания и дълъг контекст. Моделът е обучен върху обем от по-малко от 2 трилиона напълно експонирани лексеми.

Моделът разполага с контекст от до 128 000 токена. Това позволява да се анализират дълги документи и да се извлича информация от големи текстове. За да ускорят работата, разработчиците използват комбинация от локално и глобално внимание (съотношение 3:1). Този подход намалява латентността почти наполовина и намалява размера на кеша на KV от 117 MB на 40 MB.

MobileLLM-Pro поддържа 4-битово квантуване с минимална загуба на качество – не повече от 1,3%. За CPU той използва int4 (тегла), int8 (активации и KV кеш) с регресия от 0,4%. За ускорители (напр. Apple ANE и Qualcomm HTP) – 1,3%.

Архитектурата има 30 слоя, 20 глави за внимание (4 от тях KV), размер на скрития слой 6144 и речник от 202 048 лексеми. Общо 1,08 милиарда параметри. По време на обучението Лама 4-Scout е служила като учител.

При тестовете моделът показа: 67,1% в HellaSwag, 76,2% в BoolQ, 76,6% в PIQA, 50,9% в SocialIQA и 39,9 % в TriviaQA. В ARC-c той е 52,6%, в ARC-e – 76,3 %, а в WinoGrande – 62,8%.

Предварително обучената с инструкции версия постигна 44,8% в MMLU, 62 % в IFEval, 59,8 % в HumanEval и 58,4% в HellaSwag.

Обучението се е състояло на три етапа: изучаване на езика, разширяване на контекста до 128 хил. и обучение в различни области. След това за 4-битовите версии е добавено обучение, съобразено с количествените параметри (QAT). Фазата на предварителното обучение с инструкции включва SFT и DPO с акцент върху сигурността и точността.

Моделът беше тестван на Samsung Galaxy S25 и S24. При 2000 токена предварителното извличане отне 8,9 s на CPU и 1,96 s на HTP, докато при 8000 токена отне съответно 63,5 s и 9,8 s.

MobileLLM-Pro е обучен върху 1,64 трилиона токена от набори от данни с отворен код в областта на образованието, науката, кода и математиката. Предварителното обучение на инструкциите е извършено върху смесени и синтетични набори от данни.

Моделът се разпространява под лиценза FAIR NC.