Голям пробив в алгоритъма за умножение на матриците ще доведе до по-бързи и по-ефективни AI модели

В основата на изкуствения интелект е матричната математика, която току-що получи най-големия си напредък „от повече от едно десетилетие“.

В основата на изкуствения интелект е матричната математика, която току-що преживя най-големия си бум от над едно десетилетие. Почти едновременно бяха публикувани две научни работи, в които математици обясниха как да се подобри ефективността на матричното умножение. С новите алгоритми изкуственият интелект ще може да се учи по-бързо на по-маломощен хардуер. Както и много по-бързо да решава проблемите.

Същността на проблема се състои в това, че до сравнително неотдавна човечеството, в лицето на математиците, не си представяше друг начин за умножаване на матриците, освен чрез извършване на n³ операции (където n е размерността на матрицата). За матрица 3 × 3 например е било необходимо да се извършат 27 умножения. В един идеален свят за математиците умножението на матрици би се извършвало с n² операции. И в началото на 70-те години процесът на търсене на съответния алгоритъм бе стартиран. Не е трудно да се предположи, че той бе предизвикан от разпространението на изчислителните машини.

Значителен напредък в тази сфера е постигнат през 1981 г. от математика Арнолд Шьонхаге. Той доказва, че умножението на матрици може да се извърши на n^2,522 стъпки. По-късно този метод е наречен „лазерен метод“ (Laser Method). Всички последващи постижения до заветната „втора степен“ се основават на усъвършенстването на лазерния метод.

Пробивът, обявен в новите статии, направен през 2023 г., е резултат от откриването на „скритите загуби“ в лазерния метод. През ноември 2023 г. Ран Дуан и Ренфей Джоу от университета Цинхуа представиха метод, който елиминира частичната неефективност на лазерния метод, определяйки нова горна граница на броя на необходимите операции на приблизително n^2,371866. Постижението бележи най-значителния напредък в областта от 2010 г. насам. Но само два месеца по-късно Вирджиния Василевски Уилямс, Ингжан Сю и Зиксуан Сю от Масачузетския технологичен институт публикуваха втора статия, в която подробно описват друга оптимизация, която понижи горната граница на броя на операциите до n^2,371552.

Разбира се, конкретното въздействие върху скоростта на моделите на изкуствен интелект зависи от конкретната хардуерна архитектура на системата за изкуствен интелект и от това доколко задачите на даден модел зависят от умножението на матрици. Ето защо подобренията в ефективността на алгоритмите ще бъдат съчетани с оптимизация на хардуера, за да се реализира напълно потенциалното увеличение на скоростта. И все пак, тъй като подобренията в алгоритмичните методи се натрупват с течение на времето, изкуственият интелект ще става все по-бърз – това е факт.