Google представи безплатен алгоритъм за смарт кадриране на видео

6
1006

Google представи нов алгоритъм с отворен сорс код за интелигентно кадриране на видео. Потребителят задава базовите параметри, като например желаното съотношение на страните, а алгоритъмът самостоятелно определя най-важните обекти в кадрите и изрязва клипа по такъв начин, че тези обекти остават в кадъра. Информацията бе съобщена в в блога на Google AI, а сорс кодът и инструкциите за стартирането и използването на програмата са качени в GitHub.

Исторически, почти всичкото фотографско оборудване за правене на снимки и гледане на видео има по-голяма ширина, отколкото височина, като филмите и клиповете също се заснемат в хоризонтален формат. Но поради масовото разпространение на смартфоните и социалните мрежи, днес вече съществена част от снимките и видеата са с вертикален формат. Много често започна да се налага адаптирането на клиповете към няколко от по-популярните съотношения на страните на екрана. Но ако се приложи обикновено кадриране по центъра на кадъра, то част от обектите в краищата се губят, особено при по-дългите клипове и при филмите.

Вече има немалко качествени алгоритми за следене на обектите в кадрите и редица разработчици започнаха да ги използват за кадриране. Подобна функция неотдавна представи Adobe, но тя има доста ограничения и освен това е с ограничен достъп. Сега програмистите на Google представиха свой алгоритъм, който може да конвертира видеото към различни формати и съотношения на страните без да се губят важни части от кадъра.

В началото потребителят трябва да предостави на алгоритъма оригиналното видео и да зададе какви съотношения на страните трябва да има конвертираното видео, както и да укаже, дали трябва да бъдат запазени всички обекти в кадрите. След това алгоритъмът отбелязва с помощта на хистограма на наситеността наличието на различни сцени. Идеята е, че ако хистограмата между кадрите рязко се е променила, то това означава смяна на сцената.

След това всяка сцена се обработва поотделно. За тази цел алгоритъмът отбелязва всички обекти в конкретната сцена и след това конвертира видеото по такъв начин, че те да са в центъра. Новият алгоритъм самостоятелно определя метода на кадриране – статично обрязване на кадрите, плавно придвижване зоната на кадриране от едната страна на кадъра към другата и динамично кадриране, при което зоната се променя в съответствие движението на обектите. Ако потребителят е указал в настройките задължително да се виждат всички обекти, то алгоритъмът може да разшири зоната на кадриране и в някои случаи да добави ивици отстрани, които да допълнят празната част на кадъра.

Алгоритъмът е представен в GitHub във вид на MediaPipe контейнер. Да напомним, че MediaPipe вече може да работи в браузъра и всеки желаещ може да стартира подобни проекти в своя уеб браузър.

6
ДОБАВИ КОМЕНТАР

avatar
4 Коментари
2 Отговори на коментарите
0 Последователи
 
Коментарът с най-много реакции
Най-горещият коментар
  Абонирай се  
нови стари оценка
Извести ме за
saentist
saentist

Ако е както на примера и трябва да си въртя телевизора на 90 градуса, то това е неземна глупост.

поредната глупост
поредната глупост

Поредната глупост е това със затъмняването отстрани. Каква е целта не ми е ясно. До сега се бориха да направят колкото може по широкоъгълни камери и сега започнаха да режат заснетото отстрани…

Бекримира Цветиева
Бекримира Цветиева

Идеята е когато някоя кифла (като мен) с айФоня снима нещо и е държал телефона изправен, и след това трябва да го пуснат по новините, запълват отстрани с размазано такова, за да не е черно

действително е простотия
действително е простотия

По-добре google да променят софтуера на Android така, че пусне ли се камерата, картината автоматично да се завърта на „пейзаж“. Тогава кифлите колкото и да са тъпи ще се сещат да си обръщат телефоните хоризонтално.

МъдиУотърс
МъдиУотърс

Това тъмно поле е изрязаната част от видеото, което никой няма да види след обработката, визуален пример ви се дава, как изрязва по дължината с формат 9:16 (движещия се правоъгълник). За пореден път, тикви, коментират без да мислят.

Dvb
Dvb

Вертикалното видео е най-голямата дивотия, също като квадратното видео. Само кръглите идиоти снимат видео вертикално.