Изкуственият интелект става по-екологичен: нов алгоритъм пести 95% енергия, но има уловка

С нарастващата популярност на изкуствения интелект високата консумация на енергия от страна на ИИ моделите се превръща във все по-наболял проблем. Въпреки че технологични гиганти като Nvidia, Microsoft и OpenAI все още не говорят за този проблем на висок глас, явно омаловажавайки значението му, експертите от BitEnergy AI са разработили технология, която може значително да намали консумацията на енергия, без да има значителни загуби в качеството и скоростта на ИИ.

Според резултатите от изследването новият метод може да намали потреблението на енергия с до 95%. Екипът нарича своето откритие Linear-Complexity Multiplication (линейно-сложно умножение) или накратко L-Mul. Според TechSpot този изчислителен процес се основава на събиране на цели числа и изисква значително по-малко енергия и операции от умножението с плаваща запетая, което се използва широко в алгоритмите, ориентирани към изкуствения интелект.

Досега числата с плаваща запетая широко се използваха в ИИ за обработка на много големи или много малки числа. Те наподобяват двоичен запис, който дава възможност на алгоритмите да извършват прецизно сложните изчисления. Подобна точност обаче е изключително ресурсоемка и вече поражда определени опасения, тъй като някои ИИ модели се нуждаят от огромни количества енергия. Така например ChatGPT изисква за работата си толкова електроенергия, колкото 18 000 домакинства в САЩ – 564 TWh дневно. Анализаторите от Центъра за алтернативни финанси в Кеймбридж смятат, че до 2027 г. индустрията на изкуствения интелект може да консумира между 85 и 134 TWh годишно.

Алгоритъмът L-Mul решава този проблем, като замества сложните операции за умножение с плаваща запетая с по-прости целочислени добавяния. При тестването ИИ моделите запазват точността си, като потреблението на енергия се намалява с 95% за тензорните операции и с 80% за скаларните операции.

L-Mul също така подобрява и производителността. Констатирано е, че алгоритъмът превъзхожда настоящите стандарти за изчисления с 8-битова точност, като осигурява по-висока точност с по-малко операции на битово ниво. При тестове, обхващащи различни ИИ задачи, включително обработка на естествен език и машинно зрение, понижението на производителността е едва 0,07%, което експертите считат за незначителна загуба на фона на огромните икономии на енергия.

Моделите, базирани на трансформъри, като GPT, могат най-много да се възползват от L-Mul, тъй като алгоритъмът лесно се интегрира във всички ключови компоненти на тези системи. А тестовете на популярните ИИ модели като Llama и Mistral дори показаха подобрена точност при някои задачи.

Лошата новина е, че L-Mul изисква специализиран хардуер и настоящите ускорители на изкуствен интелект не са оптимизирани за използването на този метод. Добрата новина е, че вече се работи по създаването на такъв хардуер и софтуерни интерфейси (API).

Една от възможните пречки би могла да бъде съпротивата на големите производители на чипове като Nvidia, което може да забави внедряването на новата технология. Това е така, тъй като Nvidia например е лидер в производството на хардуер за изкуствен интелект и е малко вероятно да отстъпи толкова лесно позициите си на по-енергийно ефективните решения.