Meta представи Llama 3 – най-способния ИИ-модел с отворен код до момента

Meta представи Llama 3 – следващото поколение голям езиков модел (LLM), който без излишна скромност описва като „най-способния LLM с отворен код до момента“.

Компанията пусна две версии – Llama 3 8B и Llama 3 70B, съответно с 8 милиарда и 70 милиарда параметри. Според компанията, новите LLM значително превъзхождат съответните модели от последно поколение и са сред най-добрите, които са на разположение в момента.

В подкрепа на твърденията си Met показва резултати от популярните тестове по MMLU (знания), ARC (способност за учене) и DROP (анализ на текстови фрагменти). Llama 3 8B превъзхожда други модели с отворен код от своя клас, като Mistral 7B от Mistral и Gemma 7B от Google със 7 милиарда параметри, в поне 9 теста. MMLU, ARC, DROP, GPQA (въпроси по биология, физика и химия), HumanEval (тест за генериране на код), GSM-8K (тест по математика), MATH (друг тест по математика), AGIEval (набор от тестове за решаване на задачи) и BIG-Bench Hard (оценка на здрав разум).

Mistral 7B и Gemma 7B вече не могат да се нарекат най-съвременни, а в някои тестове Llama 3 8B не показва значително превъзходство над тях. Meta обаче се гордее много повече с по-усъвършенствания си модел Llama 3 70B. Той е наравно с други водещи ИИ-модели, включително Gemini 1.5 Pro – най-усъвършенствания в гамата Gemini на Google. Llama 3 70B превъзхожда Gemini 1.5 Pro в тестовете MMLU, HumanEval и GSM-8K, но изостава от усъвършенствания модел Claude 3 Opus на Anthropic. Meta разработи и свой собствен набор от тестове. От такива за писане на текст и код до обобщения и заключения, в които Llama 3 70B надмина Mistral Medium, GPT-3.5 на OpenAI и Claude Sonnet на Anthropic.

Според Meta, новите модели са „по-управляеми“, по-рядко отказват да отговарят на въпроси и като цяло дават по-точна информация.

Това важи и в някои научни области, което вероятно е оправдано от огромния обем данни, използвани за обучението им: 15 трилиона токена и 750 милиарда думи – 7 пъти повече, отколкото в случая с Llama 2.

Но откъде се взеха толкова много данни? Meta гарантира, че всички те са взети от „публично достъпни източници“. При това наборът от данни за обучение на Llama 3 съдържа 4 пъти повече код от този, използван за Llama 2, а 5% от набора от данни беше на 30 езика, различни от английския, за да се подобри потребителското изживяване. Освен това бяха използвани синтетични данни, т.е. данни от други ИИ-модели.

Въпросът за количеството данни, необходими за по-нататъшното обучение на ИИ се повдига особено често напоследък, а Meta вече се е прочула в тази област. Не толкова отдавна беше съобщено, че компанията в преследване на конкуренти „подава“ на ИИ електронни книги, защитени с авторски права, въпреки че адвокатите на компанията предупредиха за възможните последствия.

От гледна точка на сигурността Meta е вградила няколко протокола за сигурност, като Llama Guard и CybersecEval в новото поколение ИИ-модели, за да се бори със злоупотребите с технологията. Компанията пусна и специален инструмент, наречен Code Shield за анализ на сигурността на кода ИИ-моделите, за да открива потенциални уязвимости. Известно е, че по-рано същите тези протоколи не успяха да защитят Llama 2 от неточни отговори и разкриване на лична медицинска и финансова информация.

Но това не е всичко. Meta обучава модела Llama 3 с 400 милиарда параметъра. Той ще може да говори на различни езици и да приема повече входящи данни, включително да работи с изображения.