Gartner: До 2030 г. себестойността на инференса ще намалее с 90%, но качественият ИИ няма да поевтинее

Според прогнозата на Gartner, до 2030 г. инференса на LLM от трилион параметъра ще струва на доставчиците на AI-услуги над 90% по-евтино, отколкото през 2025 г. Това обаче не означава всеобщ достъп до съвременните изчисления.

Gartner за изследванията оцени всеки токен на 3,5 байта или приблизително четири знака английски текст. Експертите предполагат, че намаляването на разходите ще бъде обусловено от комбинацията от повишена ефективност на AI-чиповете и поддържащата инфраструктура, иновациите в разработването на моделите, увеличеното използване на чипове, повишеното използване на специализирани инференс-ускорители и разпространението на периферни изчисления за специфичните случаи на употреба.

В резултат на това Gartner прогнозира, че до 2030 г. LLM ще бъде 100 пъти по-рентабилен от първите модели с подобен мащаб, представени през 2022 г. Според изчисленията на Gartner, работата на моделите с усъвършенствани AI-чипове очаквано ще бъде значително по-евтина от използването на по-стар или смесен хардуер, базиран на по-достъпни полупроводници, предвид по-ниската им изчислителна мощност. NVIDIA, по-специално, редовно споменава това.

Намаляването на цените на токените обаче не означава непременно, че напредналите технологии ще станат по-достъпни за всички. Първо, намаляването на разходите за доставчиците на ИИ няма да доведе до съответстващ спад на цените за корпоративните клиенти. Освен това, напредналите технологии с ИИ ще изискват значително повече токени, отколкото днес. Например, ИИ-агентите изискват 5-30 пъти повече токени на задача от типичния чатбот и са способни да изпълняват значително повече задачи от типичния човек, използващ ИИ.

Въпреки че възможностите на AI ще се разширят, това ще бъде съпроводено с „непропорционално голямо“ увеличение на търсенето на токени. Потреблението расте по-бързо от падането на цената, така че се очаква разходите за инференс да се повишат. Подчертава се, че не става въпрос за демократизиране на напредналите изчисления. Цената на „стандартния“ ИИ наистина ще продължи да пада, но ресурсите, необходими за сложните ИИ-проекти, ще останат в недостиг. Мениджърите на ИИ проекти, които в момента маскират недостатъците на своите архитектури с намаляващите цени на токените, ще се сблъскат с трудности при мащабирането на изчисленията, свързани с ИИ-агентите.

Според прогнозите на Gartner, най-търсените платформи ще бъдат тези, които позволяват координиране на работните натоварвания, разпределени в портфолио от модели. Рутинните задачи трябва да бъдат делегирани на малките, специализирани ИИ-модели, които са по-подходящи за специфични работни процеси на по-ниска цена от решенията с общо предназначение. В същото време скъпите ресурси на усъвършенстваните модели трябва да бъдат разпределени със строги ограничения, като се запазват само за сложния и високопечеливш инференс.

Спомнете си, че според Gartner, глобалните разходи през 2026 г. за ИИ ще достигнат $2,5 трлн.