Нов огромен пробив ще направи AppleGPT в iPhone догодина още по-добър – ето какъв е той

Ако си мислите, че Apple изостава в областта на изкуственият интелект, жестоко се лъжете. Два доклада, публикувани наскоро от изследователи на Apple разказват какво се готви зад кулисите.

ИИ директно в iPhone?

Apple работи по технология, която ще „промени правилата на играта“, и която може да позволи на iPhone и други устройства на Apple да изпълняват големите езикови модели (LLM) директно на устройството, без да се прави компромис със скоростта или производителността. Тайната се крие в използването на флаш паметта – същата, в която се съхраняват вашите приложения и снимки. Тя ще се използва за стартирането на LLM, които стоят зад цялата магия на ИИ.

LLM са в основата на чатботовете и асистентите с изкуствен интелект като Siri на Apple, които могат да разговарят с хора и да предоставят полезна информация и услуги. LLM обаче са жадни за памет, тъй като изискват гигабайти RAM, за да функционират правилно. Това представлява предизвикателство за мобилни устройства като iPhone, които са с ограничен капацитет на RAM паметта.

За да се справят с това предизвикателство, изследователите на Apple са разработили нова техника, която използва флаш памет, която е по-разпространена и по-евтина от RAM паметта, която да съхранява данните на LLM и да има достъп до тях. В нов изследователски документ, озаглавен „LLM in a flash: Efficient Large Language Model Inference with Limited Memory“ те описват две ключови иновации, които правят това възможно.

Първата е прозоречното управление. Тази техника намалява количеството данни, които трябва да се прехвърлят между флаш паметта и RAM паметта. Вместо всеки път да се зареждат нови данни, LLM ще използва повторно част от вече обработените данни, което спестява време и енергия.

Втората иновация е озаглавена „обединяване на редове и колони“ – техника за четене, която увеличава скоростта на извличане на данни от флаш паметта. Вместо да чете по една дума наведнъж, LLM чете по-големи части от данни едновременно, като по този начин подобрява своята ефективност и производителност. Изследователите твърдят, че тяхната техника може да управлява LLM до два пъти размера на наличната оперативна памет, с 4-5 пъти увеличение на скоростта при централните процесори и 20-25 пъти увеличение на скоростта при графичните процесори. Те също така казват, че тяхната техника е „особено важна за разгръщането на усъвършенствани LLM в среди с ограничени ресурси, като по този начин се разширява тяхната приложимост и достъпност“.

Последиците от този пробив ще са огромни за Apple и нейните потребители, предлагайки ново ниво на интерактивност и ангажираност с техните устройства.