Нов ИИ модел на Microsoft работи с помощта на само обикновени процесори

Изследователи от Microsoft и Университета на Китайската академия на науките представиха експерименталния езиков модел BitNet b1.58 2B4T, който работи с конвенционални процесори (CPU) и използва 10 пъти по-малко памет от другите подобни системи за изкуствен интелект с графични процесори. Благодарение на 1-битовата си архитектура моделът консумира минимум енергия, без да губи качество: той се справя с езиковите задачи, кода и математиката. Разработката проправя пътя за автономен и енергийно ефективен ИИ – дори на лаптопи и смартфони.

Големите езикови модели работят с графични процесори (GPU). Това е така, защото те изискват огромна изчислителна мощност за обработката на колосалните количества данни, върху които се обучават. Експертите са все по-загрижени, че центровете за данни, които поддържат работата на популярните чатботове, консумират твърде много енергия. За да решат този проблем, учените са измислили нов начин за обработка на данните.

Голяма част от потреблението на енергия при работа с ИИ модели идва от начина, по който се съхраняват и използват теглата, които обикновено се представят като 8- или 16-битови числа с плаваща запетая. Този метод изисква голямо количество памет и изчислителни ресурси на процесора, което води до висока консумация на енергия. В новия си подход изследователите напълно са изоставили числата с плаваща запетая и са предложили да се използва т.нар. 1-битова архитектура.

Същността на техния проект се състои в това, че тежестите се съхраняват и обработват, като се използват само три стойности: -Това позволява при обработката да се използват само елементарните операции събиране и изваждане – операции, които лесно се извършват от компютър, базиран на централен процесор (CPU).

Учените вече тестваха този метод, като създадоха експерименталния модел BitNet b1.58 2B4T. Безплатният чатбот разбира езика, решава математически задачи, пише код и води разговор. Този модел, обучен от нулата, обработва до 4096 токена и е изключително ресурсоефективен.

Тестването на новия модел показа, че неговата производителност не отстъпва на подобните модели, използващи графични процесори, а в някои случаи дори ги превъзхожда. Той изисква само обикновен процесор (ARM или x86) и само 0,4 GB оперативна памет, което е по-малко от 2-5 GB, необходими за подобните модели. Екипът е разработил и специалната среда за изпълнение bitnet.cpp, която ефективно използва 1-битовата архитектура на модела.

Ако твърденията на разработчиците се окажат верни, създаването на BitNet b1.58 2B4T може да доведе до революция в областта на изкуствения интелект. Потребителите ще могат да управляват чатботове директно на своите персонални компютри и евентуално дори на смартфоните си, без да се налага да се свързват с компютърната мощ на големите центрове за данни. В допълнение към намаляването на потреблението на енергия, локализираната работа с големи езикови модели ще увеличи поверителността и ще позволи работа дори без интернет връзка.