iPhone 17 Pro изпълни локално AI модел с 400 млрд. параметри, което изисква над 200GB RAM

Най-новите устройства на Apple демонстрират доста неочаквани възможности в областта на изкуствения интелект, макар и с очевиден недостатък. iPhone 17 Pro успя да изпълни голям езиков модел с 400 милиарда параметри локално, което за смартфон звучи почти нереално.

Демонстрацията е част от проекта с отворен код Flash-MoE, споделен от разработчика anemll. AI модели от такъв мащаб обикновено изискват над 200GB RAM памет за зареждането им, поради което стартирането им на устройство с 12GB RAM в обичайния смисъл е практически невъзможно.

В случая обаче става дума за различен подход

Вместо да зарежда целия AI модел в паметта, системата изтегля необходимите фрагменти от хранилището при необходимост. Използва се и архитектурата „MoE“ (Mixture of Experts), при която във всеки момент е активна само малка част от AI модела. Именно тази комбинация позволява на AI системата да работи.

И тук се появява проблем е в скоростта – и по-точно, с липсата ѝ. AI моделът генерира приблизително 0,6 токена в секунда, което означава изчакване от няколко секунди за една дума. Това е толкова бавно, че дори простите заявки започват да изпитват търпението. Друг вероятен проблем е високият разход на батерията, което е очаквано при такова натоварване. Въпреки ниската скорост, това е интересен експеримент. Не защото може да се използва веднага, а защото показва накъде може да се развият нещата. Стартирането на нещо толкова мащабно изцяло на устройството, без облак, доскоро дори не се обсъждаше.

В момента съществува явна разлика между това, което е възможно и това, което има практическо приложение. По-малките AI модели продължават да са практичен избор, но подобни експерименти дават представа за това, с какво бъдещите смартфони ще могат да се справят много по-добре.