Mistral AI и NVIDIA представиха корпоративния AI-модел Mistral NeMo 12B със „здрав разум“ и „познаване на света“

NVIDIA и френската компания Mistral AI анонсираха Mistral NeMo 12B Large Language Model (LLM), специално създаден за решаване на различни задачи на корпоративно ниво — чатботове, обобщаване на данни, работа с програмен код и др.

Mistral NeMo 12B има 12 милиарда параметри и използва контекстен прозорец от 128 хиляди токена. За инференс се използва формат на данните FP8, за който се твърди, че намалява изискванията за размера на памет и ускорява внедряването без никакво намаляване на точността на отговора.

При обучението на модела е използвана библиотеката Megatron-LM, която е част от платформата NVIDIA NeMo. В този случай са използвани 3072 ускорителя NVIDIA H100, базирани на DGX Cloud. Твърди се, че Mistral NeMo 12B се справя добре с многопроходните диалози, математическите задачи, програмирането и т.н. Моделът има „здрав разум“ и „познаване на света“. Като цяло той отчита точна и надеждна производителност в широк набор от приложения.

Моделът е пуснат под лиценза Apache 2.0 и се предлага като NIM-контейнер. Внедряването на LLM, според създателите, отнема няколко минути, а не дни. За да стартирате модела, е достатъчен един ускорител NVIDIA L40S , GeForce RTX 4090 или RTX 4500. Основните предимства на внедряването чрез NIM включват висока ефективност, ниски изчислителни разходи, безопасност и конфиденциалност.