Учени с пробив в оптимизацията на ИИ-моделите – те вече могат без нуждата от сървъри или ускорители

Лабораторията за изследване на изкуствения интелект Yandex Research заедно с учени от Националния изследователски университет „Висша школа по икономика“, Масачузетския технологичен институт (MIT), Австрийския институт за наука и технологии (ISTA) и Университета за наука и технологии „Крал Абдула“ в Саудитска Арабия (KAUST) създадоха метод за компресиране на големи езикови модели (LLM) без загуба на качество.

Сега всичко, от което се нуждаете, за да работите със съвременни ИИ-модели е смартфон или лаптоп – няма нужда от скъпи сървъри и графични ускорители.

Новият метод за квантизация се нарича Hadamard Incoherence with Gaussian MSE-optimal GridS (HIGGS). Той позволява компресиране на невронни мрежи без използване на допълнителни данни и без изчислително сложна оптимизация на параметрите. Този подход е особено изгоден в ситуации, когато няма достатъчно подходящи данни за предварително обучение на ИИ-модела. Методът HIGGS постига баланс между качеството, размера на модела и сложността на квантизация, така че ИИ-моделите да могат да се използват на най-различни устройства.

Накратко: Квантизацията е техника за CPU оптимизация, и изпълнение на ИИ-модели на потребителски хардуер.

С помощта на HIGGS е възможно значително да се ускори процесът на тестване и внедряване на нови решения, базирани на изкуствен интелект, като се спестят време и средства за разработка.

Това ще направи ИИ-моделите по-достъпни не само за големи, но и за малки компании, както и за лаборатории и институти с нестопанска цел, индивидуални разработчици и изследователи. Ако преди, за да се стартира ИИ-модел на смартфон или лаптоп беше необходима квантизация със скъп сървър (този процес отнемаше от няколко часа до няколко седмици), сега квантизацията може да се извърши директно на смартфон или лаптоп за броени минути.

Новият метод за квантизация беше тестван върху популярните ИИ-модели Llama 3 и Qwen 2.5. В резултат на това беше установено, че HIGGS е най-добрият метод за квантизация по отношение на съотношението качество/размер на ИИ-модела сред всички съществуващи аналози без данни, включително 4-битовия NormalFloat и полуквадратичната квантизация.

Методът HIGGS вече е достъпен за разработчици и изследователи в Hugging Face и GitHub, а в arXiv е публикувана посветена на него научна статия. Трябва да се отбележи също така, че научният доклад, описващ новия метод е приет за участие в една от най-големите световни конференции по изкуствен интелект The North American Chapter of the Association for Computation Linguistics (NAACL), която ще се проведе от 29 април до 4 май в Албакърки (Ню Мексико, САЩ). Статията вече е цитирана от Red Hat AI USA, Пекинския университет, Хонконгския университет за наука и технологии и други.