Термодинамика на изчисленията: Учени откриха как да намалят енергията за ИИ до физическия минимум

Цялата история на изчисленията е непрекъсната битка със смущенията и загубата на енергия чрез разсейване на топлината. Мощният хардуер решава проблема с производителността, но излишната топлина расте експоненциално и дори добър охладител или водно охлаждане не могат да се справят. Но какво ще стане, ако не се борим с топлината и топлинния шум като източник на грешки, а ги използваме? Може ли да се направи по този начин? Всъщност, може да се направи по този начин.

Изследователи от Националната лаборатория „Лорънс Бъркли“ предложиха концепцията за термодинамични изчисления. Изследователите от Националната лаборатория „Лорънс Бъркли“ предлагат концепцията за термодинамични изчисления, при които топлинният шум – случайните колебания на електроните, дължащи се на нагряване и охлаждане – престава да бъде досаден и се превръща в източник на енергия за изчисленията.

В класическите компютри и квантовите системи шумът се потиска с огромни енергийни разходи за охлаждане и увеличаване на мощността на сигналите, но системата, предложена от учените, работи в изключително ниска енергийна скала, близка до енергията на термичния шум. Системата просто е оставена в покой и естествените топлинни колебания сами я прехвърлят от едно състояние в друго, извършвайки полезни операции.

„Термодинамичните изчисления са изчисления, задвижвани от шума“,

както лаконично обясняват авторите на изследването.

Трябва да се отбележи, че подобен метод на изчисление бе демонстриран по-рано за уравненията на линейната алгебра. Невронните мрежи изискват нелинейни изчисления, чиято възможност върху термодинамичните системи пръв показа екипът от Бъркли. Това дава възможност да се извършват сложни нелинейни изчисления, подобни на невронните мрежи, при стайна температура, без активна консумация на енергия за потискане на шума.

Екипът е проектирал „термодинамични неврони“ – нелинейни компоненти, които се държат като невроните в мрежа, позволявайки извършването на произволни нелинейни изчисления. Друг недостатък на предишните подходи беше, че трябваше да се изчаква дълго време системата да достигне равновесно състояние, преди да се стартират изчисленията. Новият подход дава възможност да се избегне изчакването и да се започнат изчисления във всеки момент от състоянието на системата, без да се чака термодинамичното равновесие.

Тъй като системата е стохастична (всяко изпълнение дава малко по-различни резултати поради шума), стандартният градиентен метод не е подходящ за изпълнение на алгоритъма. Поради това изследователите са изготвили еволюционни алгоритми на суперкомпютъра Perlmutter (NERSC), като са оценили трилиони стохастични траектории. Алгоритъмът оптимизира параметрите на схемите по такъв начин, че системата да даде желания резултат в даден момент от време. Така да се каже, те са открили как най-добре да превърнат шума в производителност на невронната мрежа.

Разбира се, използването на суперкомпютър на етапа на търсене на най-ефективните траектории на термодинамичните промени в схемите е колосален разход на енергия. Но след обучението всичко може да се реализира в хардуер, по-конкретно да се получат отговори в процеса на „обикновеното“ охлаждане на процесора без значително външно захранване.

Моделирането показа, че изводът (изходът) се осъществява при изключително ниска консумация на енергия – на порядъци по-ефективна от класическите чипове за задачите на машинното обучение. Поставете подобен „мързелив“ процесор да отговаря за предоставянето на отговорите на заявките за търсене и ще спестите много енергия! Изглежда фантастично . Но вече има подобни процесори и изглежда, че ще има още повече такива.