Френска компания представи бърз ИИ-модел с отворен код – можете да го използвате на MacBook или GeForce RTX 4090

Френската компания Mistral AI, основана от бивши служители на Google DeepMind и Meta представи компактен ИИ-модел, наречен Mistral Small 3 – той се разпространява с отворен код и предлага висока производителност.

Mistral Small 3 има 24 млрд. параметри и се позиционира като пряк конкурент на по-големите модели, включително Meta Llama 3.3 (със 70 млрд. параметри) и Alibaba Qwen (с 32 млрд. параметри), както и като свободен заместител на затворените системи, включително OpenAI GPT-4o mini. Разработчикът уверява, че новият модел дава резултати на нивото на Llama 3.3 70B, но работи 3 пъти по-бързо на същия хардуер и е предназначен за 80% от задачите, свързани с генеративен ИИ.

Системата е проектирана с оглед на локализираното разгръщане – архитектурата ѝ е със значително по-малко слоеве от конкурентните ИИ-модели, което намалява времето за директна обработка.

Точността на Mistral Small 3 в теста MMLU е 81% при 150 токена в секунда, което според разработчика я прави най-ефективната в своята категория. Той може да служи и като основа за по-сложни модели, способни да „разсъждават“, като например DeepSeek R1.

Новата невронна мрежа беше подложена на сляпо тестване с изпълнители от трети страни – процедура, която включваше повече от 1000 задачи за писане на код и общи въпроси и отговори. Mistral Small 3 се представи конкурентно на модели, които са три пъти по-големи и на затворения GPT-4o mini в тестове, свързани с писане на код, решаване на математически задачи, проверка на общи познания и следване на инструкции.

На практика моделът ще бъде полезен в приложения, в които бързите и точни отговори са от решаващо значение, като например виртуални асистенти в реално време, агенти с изкуствен интелект и системи за автоматизация на работния процес.

Разработчикът е предоставил на потребителите възможност за фина настройка на Mistral Small 3, така че да се специализира в конкретни области, като например правни консултации, медицинска диагностика и техническа поддръжка.

В областта на здравеопазването Mistral Small 3 може да открива измами. В медицината може да насочва пациентите към правилните специалисти, в роботиката, автомобилостроенето и производството може да изпълнява функции за контрол и наблюдение. ИИ-моделът може да предоставя виртуално обслужване на клиенти, анализ на настроенията и сценарии за обратна връзка.

Mistral Small 3 може да бъде стартиран на система с една видеокарта Nvidia GeForce RTX 4090 или на актуален Apple MacBook с 32 GB RAM.

Mistral Small 3 вече е наличен и скоро ще бъде достъпен за всички основни платформи – той се разпространява под безплатния лиценз Apache 2.0 с отворен код.