Microsoft представи своя най-малък AI модел Phi-3

Microsoft пусна своя най-малък модел с изкуствен интелект Phi-3 Mini, който стана първият от трите малки езикови модела Phi-3.

Phi-3 Mini има 3,8 милиарда параметъра и се обучава на по-малък набор от данни в сравнение с големите езикови модели (LLM) като GPT-4. Решението вече е налично в Azure, Hugging Face и Ollama.

Microsoft също планира да пусне и Phi-3 Small и Phi-3 Medium, които имат съответно 7 милиарда и 14 милиарда параметъра. Параметрите са тези, които определят колко сложни инструкции може да разбере моделът.

Миналия декември Microsoft пусна Phi-2, който се представи толкова добре, колкото и по-големите модели, включително и Llama 2, Mistral и Gemma. Броят на параметрите на Phi-2 е 2,7 милиарда. От Microsoft уверяват, че Phi-3 е в състояние да даде отговори, близки до тези на 10 пъти по-големия модел.

Ръководителят на Microsoft Azure AI Platform, Ерик Бойд, каза, че Phi-3 Mini е толкова способен, колкото и някои големи езикови модели, като GPT-3.5, „само в по-малък форм-фактор“.

По-малките AI модели често са по-евтини за експлоатация и функционират по-добре на мобилните устройства. По-рано беше съобщено, че Microsoft създава екип, който ще се специализира в по-малките AI-модели. Заедно с Phi, корпорацията разработи и модела Orca-Math, фокусиран върху решаването на математически проблеми.

Бойд споделя, че разработчиците са обучили Phi-3, използвайки „учебна програма“. Те са били вдъхновени от това, как децата се учат от приказките за лека нощ. Става дума за книги с по-прости думи и структури на изреченията, които в някои случаи засягат важни теми. Разработчиците обаче нямат достатъчно съществуваща литература, така че са помолили големия езиков модел да напише допълнителни „детски книги“ въз основа на списъка си с повече от 3 хиляди теми.

Според Бойд, Phi-3 надгражда наученото от предишните модели. Phi-1 се фокусира върху кодирането, докато Phi-2 започва да се учи да разсъждава. Phi-3 има предимства както в кодирането, така и в разсъжденията. Семейството Phi-3 обаче не може да надмине GPT-4 и останалите LLM по отношение на ширината на обхвата на отговорите.