DeepSeek Coder V2 е първият модел за кодиране с отворен код, който превъзхожда GPT-4 Turbo

Китайският изкуствен интелект оспорва хегемонията на OpenAI и Anthropic.

Китайският стартъп DeepSeek представи DeepSeek Coder V2 – първия модел за програмиране с отворен код, който превъзхожда своите аналози със затворен код GPT-4 Turbo, Claude 3 Opus, Gemini 1.5 Pro и изпреварва Llama 3-70B.

Базиран на предишния модел DeepSeek-V2, новият модел демонстрира изключителна производителност при кодирането и математическите задачи, като поддържа над 300 езика за програмиране и същевременно поддържа високи способности за общо мислене и разбиране на езика.

Основана миналата година с мисията „да разгадае тайната на AGI чрез любопитство“, DeepSeek се превърна в значителен играч на китайския пазар за изкуствен интелект, присъединявайки се към компании като SenseTime, Megvii Technology и Baidu. Всъщност в рамките на една година от стартирането си стартъпът вече е отворил достъп до редица модели, включително семейството DeepSeek Coder. Първата версия на DeepSeek Coder, с до 33 милиарда параметъра, поддържаше 86 езика за програмиране и контекстен прозорец за 16 000 токена. Новата версия V2 разширява поддръжката до 338 езика и увеличава контекстния прозорец до 128 хиляди, което му позволява да се справя с по-сложни задачи за програмиране.

DeepSeek Coder V2 постигна резултати от 76,2, 90,2 и 73,7 точки на тестовете MBPP+, HumanEval и Aider, предназначени за оценка на генерирането на код и решаването на задачи, като победи съответно повечето други модели, включително GPT-4 Turbo, Claude 3 Opus, Gemini 1,5 Pro и Llama-3 70B. Подобни резултати бяха получени и при тестовете MATH и GSM8K, оценяващи математическите способности на модела.

Единственият модел, който превъзхожда DeepSeek Coder V2 при няколко теста, е GPT-4o, който получи по-високи резултати при HumanEval, LiveCode Bench, MATH и GSM8K. Според разработчиците тези резултати са постигнати благодарение на архитектурата Mixture of Experts и допълнителното обучение на базовия модел DeepSeek V2 върху 6 трилиона токена, които включват програмен код от GitHub и данни от CommonCrawl. Този подход позволява на модела с 16 и 236 милиарда параметъра да активира само 2,4 и 21 милиарда „експертни“ параметъра за изпълнение на задачите, като оптимизира изчислителните ресурси и нуждите на приложението.

В допълнение към отличните резултати в заданията, включващи кодиране и математика, DeepSeek Coder V2 демонстрира прилично представяне и в задачи за общо мислене и разбиране на езика. Например в сравнителния тест MMLU, предназначен за оценяване на разбирането на езика при различните задачи, той получи 79,2 точки. Това е значително по-добър резултат от другите кодово ориентирани модели и почти сравним с резултата на Llama-3 70B. От своя страна GPT-4o и Claude 3 Opus продължават да водят в категорията MMLU с резултати съответно 88,7 и 88,6, а GPT-4 Turbo ги следва непосредствено след тях.

В момента DeepSeek Coder V2 се предлага под MIT лиценза, който позволява както научноизследователска, така и комерсиална употреба без ограничения. Потребителите могат да изтеглят версии на модела с 16 и 236 милиарда параметри в базовия вариант, както и с допълнителни инструкции чрез Hugging Face. Освен това компанията предоставя достъп до моделите и чрез своята платформа по модела „заплащане при ползване“. За тези, които искат първо да изпробват възможностите на моделите, компанията предлага възможност за взаимодействие с DeepSeek Coder V2 чрез чатбот.