ИИ кодеците от новата епоха ще обърнат стрийминга с главата надолу

Въпреки че на всеки десет години се появяват нови стандарти за кодеци, всички те се базират на пикселна математика – манипулиране на стойностите на отделните пиксели във видеокадъра, за да се премахне информацията, която не е важна за възприятието. Други математически операции намаляват обема на данните след първоначалното кодиране.

Новото поколение кодеци използва алгоритми с машинно обучение, за да анализира и разбира визуалното съдържание на видеото, като идентифицира излишните данни и ги компресира по-ефективно. Вместо ръчно написани алгоритми те използват методи, базирани на обучението в Software 2.0. Тази област се развива от десетилетия, но през последните няколко години получи силен тласък. Всички знаят, че през 2017 г. се наблюдаваше пробив в развитието на ИИ благодарение на изобретяването на трансформърите. Те, от своя страна, се базират на концепцията за вниманието, която бе изобретена през 90-те години на миналия век. Тази техника за първи път направи възможно свързването на отделните части на текст или видеокадър една с друга.

При компресирането на кадър невронната мрежа го вижда целия и разпознава обектите, докато традиционните енкодери работят на ниво макроблокове или фрагменти. С изобретяването на концепцията за вниманието невронната мрежа получи „разбиране“ за цялостната структура на входните данни, като можеше да обърне по-голямо внимание на някои части и да игнорира други. Това бе качествен преход, чиито резултати чак сега започват да се проявяват.

Традиционните кодеци

„Традиционен“ не означава „остарял“. В момента традиционните кодеци осигуряват най-ефективното компресиране на видео, а с всеки нов кодек степента на компресия се увеличава с десетки проценти. Кодеците с невронни мрежи (за тях по-долу) досега не са доказали качеството си, за да можем уверено да признаем тяхното бъдеще. Засега най-добри резултати по показателя за качеството (PSNR) показват хибридните модели – традиционни кодеци с невронномрежови подобрения, като например NeutronStar и Night-Watch с декодери от по 100-300 MB.

• Кодекът H.264 (AVC) ни служи добре вече 20 години, а благодарение на безплатната библиотека OpenH264 всеки може да го използва без никакви условия или лицензионни такси. Но сега е време да разгледаме по-съвременните алтернативи:
• H.265 (HEVC), официалният наследник на AVC, все още не се е наложил в популярните платформи поради необходимостта от заплащане на лицензионни такси. Безплатни проекти като Firefox умишлено отказват да го поддържат по почти същата причина. HEVC е разработен преди десетилетие и вече се смята за кандидат за отпадане, тъй като никога не е имал особен успех.
• AOMedia Video 1 (AV1) е безплатна алтернатива на HEVC, която бе представена през 2018 г. от консорциум от компании, воден от Google, като заместител на предишния безплатен кодек VP9.
• H.266 (VVC), Versatile Video Coding, е нов стандарт за компресия, излязъл през юли 2020 г. Изчислителната сложност на компресията се е увеличила няколко пъти (до десет пъти) в сравнение с HEVC, а сложността на декомпресията се е удвоила.

За сравнение, ето скоростта на кодиране при най-бавните настройки (AMD Ryzen 7950X, анимационен филм Sintel във формат AVC, 4,2 GB:

VVC също изисква лицензионна такса, така че може да повтори незавидната съдба на HEVC.

AV1 се ползва с най-голяма подкрепа от страна на индустрията. Всички големи платформи за видео (YouTube, Netflix и др.) изглежда се опитват да въведат поддръжката на този безплатен кодек, който по отношение на компресията превъзхожда платения кодек HEVC.

В същото време работните групи на VCEG и MPEG също не спират да работят. След като издадоха H.266 (VVC), сега те работят паралелно по две нови поколения кодеци: Essential Video Coding (EVC) и Low Complexity Enhancement Video Coding (LCEVC), като подмножество на EVC (тип I) ще бъде освободено от лицензионни такси.

Netflix и AI кодеците

Счита се, че новото поколение кодеци ще бъде създадено с помощта на машинно обучение (ML).

Нека да си припомним, че през месец март 2023 г. Apple неочаквано купи WaveOne – стартъп, който разработва алгоритми с елементи на изкуствен интелект, които се използват за компресиране на видео.

Тази сделка даде ясен сигнал за посоката, в която се движи индустрията за компресиране на видео. Може би в бъдеще ще бъдат създадени нови алгоритми за оптимално компресиране, използващи модела Software 2.0, т.е. генерирани в невронните мрежи. Накратко, схемата работи по следния начин: „Разработчикът си поставя цели и създава груб скелет на кода (т.е. архитектура на невронна мрежа), който определя подмножеството на софтуерното пространство за търсене, и след това използва компютърните ресурси, с които разполага, за да търси в това пространство програма, която работи„. Резултатът е софтуер под формата на тегла за модела. Резултатът от създаването на тази програма изглежда по следния начин:

Новият подход ще даде възможност за създаване на софтуер, който е фундаментално по-сложен и не подлежи на човешко разбиране.

Кодеците за компресиране на видео са едно от най-очевидните приложения на Software 2.0, тъй като дори сега е почти невъзможно да бъдат разбрани поради тяхната сложност. Така че с използването на „черната кутия“ на невронната мрежа нищо особено няма да се промени…

Ако Apple е инвестирала в тази технология, тя очевидно очаква да я използва в многобройните си продукти за обработка на видео, а може би дори и в наскоро представения хедсет за добавена реалност. Кодеците са си такива – ако наистина работят много ефективно, те се използват навсякъде, където се работи с видео.

Известно е, че технологията на кодека WaveOne AI има алгоритъм и кодек, които зависят от съдържанието, т.е. от смисловото съдържание на кадъра:

В рекламните материали на този стартъп е даден пример, при който най-висок приоритет за компресия с възможно най-висока детайлност се дава на лицата на хората и на текста, докато фонът може да бъде компресиран с детайлност от средно ниво.

Веднага след сделката с Apple официалният уебсайт на WaveOne бе затворен, но може да бъде разгледан в уеб архива. Има кратко описание на компресията, като се вземат предвид тематиката на видеото и семантиката (конкретните обекти във видеото). Дадени са линкове към научни статии.

Очевидно е, че когато се вземе предвид съдържанието на видеото, коефициентът на компресия може значително да се подобри, а цялостното качество на видеото субективно ще се повиши, тъй като областите на човешкото внимание ще бъдат възможно най-подробни. Просто трябва да разберем накъде е насочено човешкото внимание, когато гледаме даден видеоклип. Лицата и текстът са най-очевидният избор.

WaveOne далеч не е единственият стартъп, който разработва технология за компресиране на видео с помощта на изкуствен интелект. Според експертите кодирането с отчитане на съдържанието (CAE) се развива от 2015 г. насам, като тогава Netflix е първата компания в света, въвела технологията за компресиране на видео с CAE.

Ако някой е гледал стрийма на Netflix, може би е забелязал специфичната компресия без много артефакти. Понякога изглежда така, сякаш видеото се излъчва изобщо без компресия, въпреки че това е физически невъзможно въз основа на размера на некомпресираните кадри, а трафикът показва компресиран поток.

Това качество е трудно постижимо със стандартните кодеци като H.264 и H.265. Всъщност това е патентованата технология за компресия за CAE компресия на Netflix, разработена съвместно с помощта на AI, при която за всеки филм се създава нов отделен кодек и дори за отделните фрагменти (per-tile/per-chunk encoding).

Ако вземете видео поток от Netflix и го кодирате с обикновен H.265/HEVC или AV1 кодек, дори при максимални настройки на качеството материалът ще бъде визуално съсипан. Очевидно е, че в торентите не можете да намерите филми със същото качество като в Netflix, колкото и тъжно да е това… Може би този факт е причината, поради която компанията навремето увеличи клиентската си база (и намали разходите за трафик). Ето как в момента в бизнеса се използват кодеци с изкуствен интелект от следващо поколение, които носят реални и големи пари.

Според независими тестове качеството на CAE кодеците все още е по-ниско от това на AV1, да не говорим за другите кодеци с невронно подобрение от типа на NeutronStar и Night-Watch. Очевидно Netflix ги използва в допълнение към основните HEVC и AV1 кодеци, за да спести трафик и да подобри качеството на картината на някои места. Например, да приложи невронна предварителна обработка на видеопотока, както прави стартиращата компания iSize.

Въпреки това кодекът с изкуствен интелект на WaveOne визуално превъзхожда конкуренцията при един и същ битрейт, въпреки че невронната мрежа не се ръководи от математически характеристики като съотношение сигнал-шум (SNR), индекс на структурно сходство (SSIM) и пиково съотношение сигнал-шум (PSNR), а конкретно от човешкото възприятие. Да, това е субективно. Но е научен факт, че хората забелязват и най-малките изкривявания на чертите на лицето, но не обръщат почти никакво внимание на останалите (фонови) детайли, така че компресията, съобразена със съдържанието, има смисъл.

За съжаление Netflix не просто пази своите технологии в тайна, но и строго ги защитава като търговски тайни. Harmonic, WaveOne и другите стартиращи компании в тази област правят същото. Както писахме по-горе, Apple премахна технологичния уеб сайт веднага след като го купи. Поради тази причина публичният напредък в създаването на следващото поколение кодеци CAE се забавя. Но пък Apple забогатява.

По-нататъшният напредък в компресирането на видео (а по-късно и в традиционните архиватори и друг софтуер) е тясно свързан с напредъка в машинното обучение. Сред компаниите, които използват изкуствен интелект за подобряване на стандартните кодеци, са Bitmovin, Beamr и NGCodec, която вече е купена от AMD.

Може би в бъдеще ще видим радикално нови подходи към компресирането. Така например кодекът Vnova намалява разделителната способност на видеото преди неговото излъчване, за да спести трафик, и я увеличава от страна на клиента, като възстановява нещо подобно на оригинала, но с висока разделителна способност. По тази логика би могло да се предава само текстово описание и картината изцяло да се генерира в приемащото устройство. Да се надяваме, че няма да се стигне дотам…