Microsoft смазва конкуренцията с Phi-3.5: Новите модели на изкуствен интелект поставят нови стандарти

Microsoft не се ограничава до успехите, постигнати в партньорството с OpenAI, и продължава да разработва свои собствени технологии за изкуствен интелект. Серията Phi 3.5 е разширена с още три модела: Phi-3.5-mini-instruct с 3,82 млрд. параметри за основни разсъждения, Phi-3.5-MoE-instruct с 41,9 млрд. параметри за по-сложни задачи и Phi-3.5-vision-instruct с 4,15 млрд. параметри за анализ на изображения и видео. Тези модели са на разположение на разработчиците на платформата Hugging Face под MIT лиценза, което позволява свободното им използване и модифициране. Новите продукти се представят добре в тестовете и превъзхождат конкурентите, включително Gemini 1.5 Flash на Google, Meta Llama 3.1 и дори GPT-4o на OpenAI.

Phi-3.5 Mini Instruct е компактен езиков модел с 3,8 милиарда параметри, оптимизиран за прецизно изпълнение на инструкции и обработка на контексти с дължина до 128 000 лексеми. Подходящ е за задачи, които изискват задълбочено логическо мислене при ограничени изчислителни ресурси. Подобни сценарии включват генериране на кодове, решаване на математически задачи и логически разсъждения. Въпреки компактния си размер Phi-3.5 Mini Instruct е ефективен за многоезични задачи и задачи, които изискват поддържане на контекста в диалозите. Моделът показва почти най-добри резултати в различните тестове и дори превъзхожда другите модели със същия размер (Llama-3.1-8B-instruct и Mistral-7B-instruct) в разбирането на код, когато става въпрос за големи части от текст.

Phi-3.5 MoE (Mixture of Experts – смесица от експерти) съчетава няколко различни типа модели, всеки от които е специализиран в различни задачи. Този модел използва архитектура с 42 милиарда параметъра и поддържа дължина на контекста на токена от 128 k, осигурявайки мащабируемост на ИИ за взискателни приложения. Според документацията на Hugging Face обаче настоящата реализация използва само 6,6 млрд. активни параметри.

Предназначен за различни задачи за разсъждение, Phi-3.5 MoE демонстрира силна производителност в разбирането на кода, математиката и езика, като често превъзхожда по- големите модели в някои тестове, като например RepoQA. Моделът дори надминава GPT-4o mini в предизвикателния тест MMLU, в който трябва да се покажат знания в различни области – от точните науки до хуманитарните. Уникалната архитектура на модела MoE му позволява да запази ефективността си при изпълнение на сложни ИИ задачи на няколко езика.

Тройката се допълва от модела Phi-3.5 Vision Instruct, който съчетава обработката на текст и изображения. Този мултимодален модел е подходящ за задачи като общо разбиране на изображения, оптично разпознаване на символи, разбиране на графики и таблици и обобщаване на видео. Подобно на другите модели от серията Phi-3.5, Vision Instruct поддържа контекстуален прозорец от 128 000 лексеми, което му позволява да обработва сложни визуални задачи с множество кадри. Microsoft отбелязва, че моделът е обучен върху комбинация от синтетични и филтрирани отворени данни, като акцентът е поставен върху висококачествени данни, които изискват сложни разсъждения.

Моделът Phi-3.5 Mini Instruct е обучен върху 3,4 трилиона токена с помощта на 512 графични процесора H100-80G за 10 дни, докато моделът Vision Instruct е обучен върху 500 милиарда токена с помощта на 256 графични процесора A100-80G за шест дни. За обучението на модела Phi-3.5 MoE са били необходими 4,9 трилиона токена, 512 графични процесора H100-80G и 23 дни.

И трите модела от серията Phi-3.5 се разпространяват под MIT лиценза, демонстрирайки ангажимента на Microsoft към принципите на отворения код. Лицензът дава на разработчиците широки права за използване, модифициране, разпространение и комерсиализиране на софтуера. Microsoft и другите притежатели на авторски права не носят отговорност за каквито и да било негативни последици, свързани с използването на софтуера. Чрез предоставянето на отворени лицензионни модели Microsoft дава възможност на разработчиците да интегрират усъвършенствани ИИ възможности в своите приложения, насърчавайки иновациите както в търговската, така и в изследователската среда.