Купихте си лаптоп с NPU? Ето защо той най-вероятно понастоящем е напълно безполезен

Агресивният стремеж на Microsoft към интегриране на изкуствения интелект в Windows е придружен и от малко хардуерно допълнение – модулът за невронна обработка или NPU. Ако напоследък сте си търсили нов лаптоп и сте се чудили какво е TOPS, това е мярката за производителността на вградения NPU.

Microsoft иска да ви накара да вярвате, че трябва да си купите компютър с NPU с мощност поне 40 TOPS, за да можете да използвате всичките им бляскави функции за изкуствен интелект. Е, аз си купих такъв и две години по-късно той все още стои неизползван в лаптопа ми.

Microsoft ми продаде бъдеще с изкуствен интелект, но това съвсем не е то

Copilot+, NPU и обещанието за компютри с изкуствен интелект.

На хартия идеята е доста убедителна. Microsoft и нейните хардуерни партньори твърдят, че с NPU лаптопът ви се превръща в частна локална машина с изкуствен интелект, която работи с LLM, транскрибира реч, прилага видео ефекти в реално време и др., без да изпраща данните ви за обработка в облака.

Голямото обещание беше интелектът в устройството, който става достъпен и ефективен благодарение на NPU. NPU обработва AI задачите, докато CPU и GPU остават свободни. Това удължава живота на батерията и освобождава ресурсите на CPU и GPU за други приложения, които може да са ви необходими.

Recall беше водещата функция на Windows, която трябваше да използва NPU, позволявайки ви да търсите в дейността си на работния плот с помощта на естествен език. Други похвати на Copilot+ като семантично търсене на файлове, субтитри в реално време с превод, размиване на фона на уебкамерата и корекция на зрителния контакт, и дори захранвани от изкуствен интелект корекции на изображенията в приложението „Снимки“, бяха солидна аргументация за желанието да имате NPU в следващия си лаптоп.

Натискът за NPU е координирано усилие между Microsoft, Intel, AMD, Qualcomm и други големи OEM производители. Microsoft се нуждаеше от хардуер, за да се изправи срещу чиповете от серията M на Apple, които от години интегрират невронни енджини и ги използват ефективно. Intel и AMD се нуждаеха от разграничение отвъд суровите тактови честоти на процесора, а Qualcomm се нуждаеше серията Snapdragon X да изглежда като нещо повече от ARM чип за лаптопи.

Резултатът беше маркетингов удар, който определи персоналните компютри с изкуствен интелект като нещо повече от просто подобряване на спецификациите. Това беше изцяло нов начин за използване на персоналния компютър, или поне това беше мечтата, която Microsoft продаваше.

Ето какво всъщност е усещането от NPU

През по-голямата част от времето той просто си стои там.

Intel дебютира с NPU в потребителските лаптопи с линията си процесори Meteor Lake през 2024 г. Оттогава локалните NPU изминаха дълъг път и са чудесни за определени задачи, но повечето популярни приложения, като LM Studio или Ollama, все още по подразбиране използват графичния или централния процесор. NPU просто стои там, бездействайки.

Recall, предполагаемата перла в короната на NPU, се превърна в PR катастрофа почти веднага след пускането си. Освен че беше кошмар за поверителността, Recall се сблъска с многократни забавяния и разногласия. За да се влошат още повече нещата, изследователите откриха начини да активират функцията на по-стар хардуер без NPU чрез неофициални обходни пътища.

Останалата част от работата с Copilot+ беше по-функционална, но в най-добрия случай скромна. Ефектите на Windows Studio – замъгляването на фона на уеб камерата и корекцията на зрителния контакт – работят, но вашите нужди могат да варират. Субтитрите с превод в реално време могат да бъдат наистина полезни. А семантичното търсене прави намирането на файлове по-малко мъчително, въпреки че би било много по-добре да замените Windows Search с Command Palette.

Истинският проблем не е в хардуера, а в софтуера

Разработчиците не разработват софтуер за него (все още)

NPU помага само когато програмите са изрично написани така, че да прехвърлят натоварването върху него. От инструменти за стартиране на локални LLM до творчески софтуер, почти никой не използва вградените NPU в машините с Windows за AI натоварвания. Специализираната архитектура на чипа означава, че разработчиците трябва да пишат код, специално предназначен за NPU.

Самата компания Intel призна по време на техническите сесии на CES 2024, че в Meteor Lake най-взискателните работни натоварвания с AI все още са възложени на вградения графичен процесор Arc. NPU е предназначен за обработка на непрекъснати задачи с ниска интензивност, като например замъгляване на фона. Digital Trends тества разликата в мощността при работа с фоново замъгляване на GPU спрямо NPU и установи почти незначителна разлика, като GPU е със средна мощност 18,9 W, а NPU – 17,6 W за 30 минути – не точно значителното повишаване на ефективността, което маркетингът внушава.

Оттогава Microsoft се опитва да сведе до минимум щетите. Тя стартира Windows ML – фреймуърк, който позволява на разработчиците да пишат AI приложения , ориентирани към CPU, GPU и NPU, а не само към NPU.

Напълно безполезен ли е NPU?

Малкото функции, от които всъщност има полза

NPU в лаптопа ви не е с нулева стойност. Ако постоянно провеждате видеоразговори през деня, студийните ефекти в устройството могат да ви помогнат. Както вече споменахме, субтитрите в реално време и семантичното търсене също са полезни функции, но другите софтуерни решения не изискват да плащате по-висока цена при покупката на лаптоп. Така че, ако някой от тези случаи на употреба ви привлича, NPU има някаква базова употреба.

Тук съществува и един правдоподобен аргумент за осигуряване на бъдещето. Софтуерните екосистеми са склонни в крайна сметка да настигнат хардуера. С подобряването на инструментариума и с увеличаването на броя на моделите, които се оптимизират и настройват за NPU, този неизползван силиций в крайна сметка може да започне да се използва.

Проблемът обаче е във времето. Да, в крайна сметка софтуерът може да започне да използва NPU, но не за това съм платил. Имам своя HP Omen Transcend 14 от почти две години и NPU почти не е виждал употреба.

Не купувайте лаптоп заради NPU

Хубаво е да го имате, но все още не си заслужава да плащате по-висока цена

Ако вече притежавате лаптоп, оборудван с NPU, не е нужно да съжалявате категорично за това. Отнасяйте се към NPU като към свръхмощен енджин за размиване на фона, който утре може да се окаже полезен AI ускорител. Следете как се развиват локалните инструменти за изкуствен интелект, защото има голяма вероятност в крайна сметка те да започнат да използват NPU.

Ако ви предстои да си купите лаптоп и маркетингът стане твърде лъскав, не забравяйте, че големият скок в цената на базата на специален NPU означава, че плащате за скъп блок силиций, който в момента не прави почти нищо. Може би ще го прави в бъдеще, но дотогава ще плащате за функция, която все още я няма. На теория лаптопът ви има специален мозък за изкуствения интелект; но на практика това е просто скъп бутон за размазване на фона.