Google представи безплатен алгоритъм за смарт кадриране на видео

Google представи нов алгоритъм с отворен сорс код за интелигентно кадриране на видео. Потребителят задава базовите параметри, като например желаното съотношение на страните, а алгоритъмът самостоятелно определя най-важните обекти в кадрите и изрязва клипа по такъв начин, че тези обекти остават в кадъра. Информацията бе съобщена в в блога на Google AI, а сорс кодът и инструкциите за стартирането и използването на програмата са качени в GitHub.

Исторически, почти всичкото фотографско оборудване за правене на снимки и гледане на видео има по-голяма ширина, отколкото височина, като филмите и клиповете също се заснемат в хоризонтален формат. Но поради масовото разпространение на смартфоните и социалните мрежи, днес вече съществена част от снимките и видеата са с вертикален формат. Много често започна да се налага адаптирането на клиповете към няколко от по-популярните съотношения на страните на екрана. Но ако се приложи обикновено кадриране по центъра на кадъра, то част от обектите в краищата се губят, особено при по-дългите клипове и при филмите.

Вече има немалко качествени алгоритми за следене на обектите в кадрите и редица разработчици започнаха да ги използват за кадриране. Подобна функция неотдавна представи Adobe, но тя има доста ограничения и освен това е с ограничен достъп. Сега програмистите на Google представиха свой алгоритъм, който може да конвертира видеото към различни формати и съотношения на страните без да се губят важни части от кадъра.

В началото потребителят трябва да предостави на алгоритъма оригиналното видео и да зададе какви съотношения на страните трябва да има конвертираното видео, както и да укаже, дали трябва да бъдат запазени всички обекти в кадрите. След това алгоритъмът отбелязва с помощта на хистограма на наситеността наличието на различни сцени. Идеята е, че ако хистограмата между кадрите рязко се е променила, то това означава смяна на сцената.

След това всяка сцена се обработва поотделно. За тази цел алгоритъмът отбелязва всички обекти в конкретната сцена и след това конвертира видеото по такъв начин, че те да са в центъра. Новият алгоритъм самостоятелно определя метода на кадриране – статично обрязване на кадрите, плавно придвижване зоната на кадриране от едната страна на кадъра към другата и динамично кадриране, при което зоната се променя в съответствие движението на обектите. Ако потребителят е указал в настройките задължително да се виждат всички обекти, то алгоритъмът може да разшири зоната на кадриране и в някои случаи да добави ивици отстрани, които да допълнят празната част на кадъра.

Алгоритъмът е представен в GitHub във вид на MediaPipe контейнер. Да напомним, че MediaPipe вече може да работи в браузъра и всеки желаещ може да стартира подобни проекти в своя уеб браузър.