Microsoft представи Phi-2 – революционен малък AI-модел с голям потенциал

Microsoft представи усъвършенствания AI-модел Phi-2 с 2,7 милиарда параметъра. Моделът демонстрира отлични резултати в широк набор от тестове, включително и разбиране на език, решаване на математически задачи, програмиране и обработка на информация. Основната особеност на Phi-2 е способността му да се конкурира и често да превъзхожда AI-модели, които са до 25 пъти по-големи от неговия размер. Новият продукт вече е достъпен чрез Microsoft Azure AI Studio за изследователи и разработчици, които искат да интегрират усъвършенствания AI в своите приложения.

Изпълнителният директор на Microsoft Сатя Надела представи Phi-2 на събитието Ignite. Отличителна черта на този модел е, че той се обучава върху данни, които отговарят на качеството на образователното ниво. Това означава, че данните за обучение на модела са внимателно подбрани и структурирани, което допринесло за точността и ефективността на обучението. Този подход позволява на Phi-2 по-ефективно да прехвърля знания и интерпретации, научени от други модели, укрепвайки своите способности в областта на разбирането на езика, логическото мислене и обработката на информация.

Средна производителност при групирани бенчмаркове в сравнение с популярните отворени SLMs

Phi-2 възбужда дългогодишните размисли относно връзката между размера и силата на езиковите модели. Моделът е сравним с големите AI-модели като 7B Mistral на Mistral AI, 13B Llama 2 на Meta и дори 70B Llama-2. Особено внимание заслужава способността на Phi-2 да превъзхожда дори Gemini Nano на Google — моделът с най-висока производителност в серията Gemini, предназначен да работи на мобилни устройства. Това подчертава потенциала на Phi-2 за мобилна технология, осигурявайки функции за автоматично резюмиране на текст, подобрена корекция и редакция на граматиката и контекстно интелигентно отговаряне.

Сравнение между Phi-2 и модела Gemini Nano 2 на базата на бенчмарковете на Gemini

Експертите на Microsoft подчертават, че високата производителност на модела Phi-2 е постигната без използването на методи за обучение с подкрепление (reinforcement learning), базирани на човешка обратна връзка или методи за настройка на инструкции (instructional tuning). Това позволява на модела ефективно да минимизира пристрастията и да намали риска от токсични изходни, което прави Phi-2 един от най-безопасните и най-етичните модели в областта на изкуствения интелект.

Безопасността е оценена в 13 демографски групи въз основа на ToxiGen. Избира се подмножество от 6541 предложения и се оценява между 0 и 1, въз основа на токсичност на предложението. По-високият резултат показва, че AI-моделът е по-малко вероятно да генерира токсични предложения в сравнение с безобидните.

Phi-2 е част от серията малки езикови модели (SLM) на Microsoft. Първият модел от тази серия, Phi-1 с 1,3 милиарда параметъра, беше пуснат по-рано тази година и беше насочен към програмиране на задачи в Python. През септември беше представен Phi-1.5 с подобен брой параметри, но обучен на нови данни, включително и синтетични текстове, създадени с помощта на програмиране на естествен език.

Сравнение между моделите Phi-2 и Phi-1.5. Всички задачи се оценяват в режим 0-shot, с изключение на BBH и MMLU, за които се използват съответно 3-shot CoT и 5-shot

Phi-2 отваря нова глава в машинното обучение, където качеството и ефективността на обучението стават ключови фактори. Този AI-модел не само демонстрира значителния напредък на Microsoft в тази област, но също така предоставя нови възможности за разработчици и изследователи по целия свят, отваряйки вратата към по-умните и по-безопасни технологии на бъдещето.