Невронната мрежа Disney Research съвсем реалистично заменя лицата в клиповете

2
778

Специалистите на Disney Research създадоха невронна мрежа, която заменя лицата в снимките и видеата. Замяната става в изцяло автоматичен режим. Нещо повече, демонстрационният клип показва, че този дийпфейк реалистично заменя мимиката и речта в пълно съответствие с оригинала.

За няколко години компютърните системи за автоматизирана подмяна на лицата базирани на невронни мрежи се превърнаха от неособено убедителни в заплашително правдоподобни. Благодарение на новите изследвания на Disney, невронната подмяна на лицата е готова да се превърне във висококачествен инструмент за различните студия за визуални ефекти, работещи с холивудските блокбастъри. Системите от този вид могат да се използват и за реалистична фалшификация на видеата просто така, за развлечение.

Един от най-големите проблеми при създаването на видео дийпфейкове е изграждането на обширна база данни с човешки лица с хиляди различни изражения и пози, които могат да се използва за подмяна в оригиналното видео. Колкото по-голяма е тази база данни и колкото са по-качествени изображенията в нея, толкова по-добра става подмяната на лицата. Тези изображения (най-често снимки на знаменитости) обикновено имат невисока резолюция. Дори един 4К файл може да даде изображение на търсено лице, с доста ниска резолюция, като се има предвид колко много малки по размери лица се появяват в кадъра.

Ето защо, първата стъпка към създаването на наистина убедителни дийпфейкове е намирането на висококачествен източник на подходящите изображения. На симпозиума по рендиране Eurographics 2020 бе представена научната работа „Невронна подмяна на лица с висока резолюция за визуални ефекти„. В нея експертите на ETH Zurich и Disney Research Studios подробно описват няколко иновации и нови подходи към автоматизираната подмяна на лицата. Тези нови технологии дават мегапикселни резултати с високо качество и резолюция, и могат да се използват в съвременното киноизкуство.

Представеният нов алгоритъм започва с тънка стабилизация на кадрите в оригиналния и коригирания клип. По този начин се премахват потенциалните проблеми като трепнала устна – тези нестандартни ситуации се обработват по-късно по време на втория пас. Тези нестандартни ситуации също се използват за обучаването на изкуствения интелект и се записват в базата данни. По този начин новият алгоритъм следващият път се справя с тези проблеми самостоятелно.

Новият инструмент значително затруднява откриването на дийпфейковете в заобикалящия ни технологичен свят. Може да се предположи, че в Глобалната мрежа съвсем скоро ще започнат да се появяват вълна от преправени клипове, в които лицата на например, реалните актриси, се заменят с лица на знаменитости или с лица на произволни момичета. Статистиките показват, че на подмени в дийпфейковете са подложени именно лицата от женски пол.

0 0 глас
Оценете статията
Абонирай се
Извести ме за
guest
2 Коментара
стари
нови оценка
Отзиви
Всички коментари