Мрежата на Колмогоров-Арнолд: Как теорема от 1957 година преобърна света на невронните мрежи

Невронните мрежи заемат ключово място в развитието на изкуствения интелект през последните години, благодарение на способността си да обработват огромни количества данни и да решават сложни от изчислителна гледна точка проблеми. Все още обаче съществува проблем с тяхната интерпретация: въпреки впечатляващите резултати, системи като многослойните перцептрони (MLP) работят като „черна кутия“ и изследователите не могат да разберат как точно стигат до своите заключения. Това създава сериозни предизвикателства, особено в научните области, където разбирането на причините и начина, по който даден модел взема определено решение е толкова важно, колкото и самият резултат.

През април тази година група изследователи предлагат нов подход за изграждане на невронни мрежи, основан на математически идеи от средата на 20-ти век.

Този тип мрежа се нарича мрежа на Колмогоров-Арнолд (KAN) и обещава да реши проблема с интерпретируемостта на невронните мрежи, като същевременно поддържа висока ефективност за редица задачи. Новата мрежа се основава на теорема, изведена от Андрей Колмогоров и Владимир Арнолд през 1957 година, която гласи, че всяка сложна многомерна функция може да бъде представена като набор от прости функции с една променлива. Тази идея е преосмислена и адаптирана за използване в ерата на дълбокото обучение.

Мрежите на Колмогоров-Арнолд привлякоха вниманието на изследователите по две основни причини. Първо, те са потенциално по-прозрачни от традиционните MLP. Второ, те могат да решават научни проблеми с по-висока точност от стандартните невронни мрежи. Една от ключовите разлики в KAN е, че вместо да се използват числови тегла между възлите, както е при MLP, тази мрежа използва нелинейни функции, които могат да се настройват по-прецизно и позволяват да се моделират по-сложни зависимости.

В миналото мрежите на Колмогоров-Арнолд са били считани за непрактични. През 1989 година изследователи, сред които физикът Томазо Поджио от Масачузетския технологичен институт (MIT) твърдят, че теоремата на Колмогоров-Арнолд няма практическо приложение за обучение на мрежи. Един от проблемите бил, че простите функции, които се използват за представяне на сложни функции, могат да бъдат „негладки“, т.е. да имат остри ъгли, които затрудняват обучението на мрежата.

В началото на 2024 година обаче студентът от MIT Циминг Лиу решава да преразгледа идеята и да се опита да я приложи в контекста на съвременните компютърни възможности.

Благодарение на значителния напредък в областта на софтуера и хардуера след публикуването на статията на Поджио, Лиу и неговият научен ръководител Макс Тегмарк те успяват да създадат прототип на KAN, който става основа за по-нататъшните им експерименти.

Първоначално двуслойните мрежи, основани на теоремата на Колмогоров-Арнолд не показват голям успех, особено за научни задачи като моделиране на физически процеси. Пробивът настъпва, когато Тегмарк предлага използването на по-дълбоки мрежи, състоящи се от три или повече слоя. Това се оказа ключово решение: през април изследователите представиха трислоен модел, който успя да възпроизведе точно математическа функция, недостъпна за двуслойните мрежи.

При по-нататъшни изследвания екипът експериментира с по-дълбоки мрежи с шест слоя и всяко добавяне на слой подобрява способността на мрежата да решава по-сложни проблеми. Един пример за практическо приложение на KAN е решаването на проблем от теорията на възлите, при който мрежата не само е успяла да предскаже топологично свойство на даден възел, но и да обясни връзката между другите му свойства. Това е значително постижение, тъй като стандартните невронни мрежи, като MLP са в състояние само да произведат резултат, без да дават обяснения.

Друг пример за приложение на KAN е свързан с явление във физиката на кондензираната материя, наречено локализация на Андерсън. Проблемът беше да се предвиди границата, на която се извършва фазов преход, и да се определи математическата формула, описваща този процес. Стандартните невронни мрежи не могат да решат този проблем, но мрежата на Колмогоров-Арнолд се справила успешно.

Най-същественото предимство на KAN обаче е нейната интерпретируемост. За разлика от други невронни мрежи, KAN не просто дава отговор, но и обяснение, което я прави особено полезна в научните изследвания.

Това означава, че вместо обикновена цифра или набор от данни мрежата може да изведе формула или математическо правило, които могат да бъдат записани и използвани по-късно. Този подход открива нови възможности за прилагане на невронните мрежи в науката, където разбирането на процеса често е от ключово значение.

Изследователите продължават да усъвършенстват мрежата на Колмогоров-Арнолд и резултатите от последните месеци показват, че тя може да замени стандартните невронни мрежи в редица научни задачи. Последната работа показа, че KAN значително превъзхожда MLP при решаването на диференциални уравнения, които се срещат в почти всички области на науката. Въпреки това MLP остават по-ефективни в задачите за компютърно зрение и обработка на звук.

По този начин мрежата на Колмогоров-Арнолд открива нови перспективи за приложенията на изкуствения интелект, особено в области, в които е важна не само точността на прогнозите, но и способността да се обясни как и защо са получени те.