Alibaba представи ИИ модела Qwen2.5-Omni-3B, който може да се стартира на компютър или лаптоп

Тази седмица китайската компания Alibaba представи своето водещо семейство ИИ модели Qwen3, които използват метода „смесване на експерти“, за да постигнат резултати, сравними с тези на хибридните модели за разсъждение. Само няколко дни по-късно гигантът в областта на електронната търговия и облачните изчисления представи олекотения модел Qwen2.5-Omni-3B, базиран на архитектура от предишно поколение, който е предназначен за локална работа на потребителски компютри и лаптопи.

Qwen2.5-Omni-3B е умалена версия на водещия алгоритъм със 7 милиарда параметъра, сведена до 3 милиарда параметъра. Въпреки намаления размер тази версия на ИИ модела е запазила повече от 90% от мултимодалната производителност и може да осигури онлайн генериране както на текст, така и на естествена реч.

Разработчиците са успели да постигнат значително подобрение в ефикасността на паметта на графичния ускорител. Отбелязва се, че Qwen2.5-Omni-3B е намалил потреблението на видеопамет с 50% при обработката на дълги контексти до 25 хил. лексеми. След оптимизиране на настройките потреблението на памет е намаляло от 60,2 гигабайта за модела със 7 милиарда параметри до 28,2 гигабайта за модела с 3 милиарда параметри. Благодарение на това алгоритъмът Qwen2.5-Omni-3B може да бъде инсталиран и използван на устройство, което използва графичен ускорител с 24 GB видеопамет. Подобни графични карти обикновено се поставят в първокласните персонални компютри и лаптопи.

Алгоритъмът Qwen2.5-Omni-3B вече е достъпен за изтегляне от Hugging Face, GitHub и ModelScope. Лицензионните условия обаче позволяват алгоритъмът да се използва само за изследователски цели. Това означава, че не могат да се създават търговски продукти, базирани на Qwen2.5-Omni-3B, без лиценз от Alibaba за използване на фамилията модели Qwen. Резултатите от сравнителните тестове на алгоритъма показват, че въпреки намаления размер на модела на изкуствения интелект, той остава напълно конкурентен.