Енергийно ефективен ИИ-модел може да промени правилата на играта – 50 пъти по-висока ефективност без разлика в производителността

Изследователи от Калифорнийския университет в Санта Круз са разработили начин за работа на голям езиков модел с мащаб от милиарди параметри, като използват само 13 вата (W) енергия – колкото консумира една съвременна LED крушка. За сравнение, един графичен процесор от класа на центровете за данни, използван за подоби задачи се нуждае от около 700 W.

До този момент изкуственият интелект до голяма степен е бил състезание за това кой ще бъде пръв, без да се обръща внимание на показатели като ефективност. За да променят това, изследователите премахват интензивна техника, наречена матрично умножение. Тази техника приписва думи на числа, съхранява ги в матрици и ги умножава заедно, за да създаде език. Както можете да си представите, тя е доста хардуерно интензивна.

Преработеният подход на екипа вместо това принуждава всички числа в матриците на невронните мрежи да бъдат тройни, което означава, че те могат да имат само една от три стойности: отрицателна единица, нула или положителна единица. Тази ключова промяна е вдъхновена от документ на Microsoft и означава, че всички изчисления включват сумиране, а не умножение – подход, който е много по-малко хардуерно интензивен.

Говорейки за това, екипът е създал и персонализиран хардуер, използвайки силно приспособима схема, наречена полево програмируем гейт масив (FPGA). Персонализираният хардуер им позволил да използват максимално всички енергоспестяващи функции, вградени в невронната мрежа.

Работейки на персонализирания хардуер, невронната мрежа на екипа е повече от 50 пъти по-ефективна от типичните конфигурации.

И все пак, тя осигурява същата производителност като модел от най-високо ниво като Llama на Meta.

Струва си да се отбележи, че при новия подход не е необходим персонализиран хардуер – той е само черешката на тортата. Невронната мрежа е проектирана да работи на стандартни графични процесори, които са често срещани в индустрията, а тестовете разкриха приблизително 10 пъти по-малко потребление на памет в сравнение с невронна мрежа, базирана на умножение. Изискването за по-малко памет може да отвори вратата за пълноценни невронни мрежи на мобилни устройства като смартфоните. С подобен вид повишаване на ефективността и при наличието на пълен център за данни, ИИ скоро може да направи още един огромен скок напред.

Важно е също така да се отбележи, че учените са отворили изходния код на разработката си.

Това ще позволи на големи играчи на пазара на изкуствен интелект като Meta, OpenAI, Google, NVIDIA и други да използват свободно новото постижение за обработка на работни натоварвания и създаване на по-бързи и енергийно ефективни системи с изкуствен интелект.