Революция в изкуствения интелект: Компилатор от съвсем нов тип ще помага за оптимизиране на ИИ моделите

ИИ моделите, които разпознават изображения или човешка реч, извършват операции с изключително сложни масиви от данни, които изискват огромни компютърни ресурси. В резултат от това те консумират много електроенергия. Експерти от САЩ измислиха как да намалят натоварването на паметта, пропускателната способност и изчислителната мощност на невронните мрежи чрез автоматично генериране на код, който използва два вида излишък на данни.

Настоящите методи за оптимизиране на алгоритмите са тромави и обикновено дават възможност на разработчиците да променят само единия от двата вида излишък в структурите от данните за дълбоко обучение: разреденост или симетрия. Екип от Масачузетския технологичен институт (MIT) направи възможно създаването на алгоритми, които не са ограничени само до едното от двете неща. Експериментите показват, че в някои случаи скоростта на изчисленията се увеличава до невероятните почти 30 пъти.

При машинното обучение данните често се представят като тензори – контейнери с множество измерения. Моделите извършват операции върху тензорите, като използват повтарящи се матрици за умножение и събиране, но тези операции са много интензивни от гледна точка на изчисленията. За да опростят работата с тензорите, специалистите от Лабораторията по информатика и изкуствен интелект са разработили новия компилатор SySTeC, пише MIT News.

Компилаторът автоматично оптимизира кода за трите вида симетрия в тензорите на данни и извършва допълнителни трансформации за съхраняване изключително на ненулевите стойности на данните, увеличавайки показателя за рядкост в програмата. Накрая SySTeC генерира готов за използване код.

„По този начин получаваме предимствата и на двата вида оптимизация. А по отношение на симетричността е интересно, че колкото повече измерения има един тензор, толкова по-евтино става изчислението“, казва Ива Аренс, съавтор на статията, която тя и колегите ѝ представиха на Международния симпозиум по генериране и оптимизация на код.

Тъй като SySTeC използва достъпен език за програмиране, той е подходящ за подобряване на алгоритмите за машинно обучение за широк спектър от приложения. Тъй като е автоматизиран, той е подходящ за учените, които не владеят дълбокото обучение, но искат да оптимизират работата на алгоритмите за обработка на данни.