Google представи VLOGGER – изкуствен интелект за реалистично „анимиране“ на снимките

Google разработи изкуствен интелект, който създава реалистични анимирани видеоклипове въз основа на само една снимка. В допълнение към снимките невронната мрежа може да обработва и аудио. След това създава видеопоредица с подходящи изражения на лицето и жестове. Това, което отличава модела, е способността му да работи не само с лица. Той анимира и движения на тялото, например ръцете.

Методът не изисква обучение на всяка отделна снимка. Той разчита не само на разпознаване на лицата и разглежда широк спектър от сценарии. Той се основава на дифузионен модел на човешкото движение в 3D и на най-съвременна дифузна архитектура, която допълва моделите текст-изображение с пространствен и времеви контрол.

Разработчиците оценяват VLOGGER по три различни критерия и стигат до заключението, че новият модел превъзхожда предишните технологии. По отношение на качеството на изображението, запазването на идентичността и времевата последователност. Това означава, че човекът във видеоклипа е много подобен на себе си и прави навременни движения, като например да поклати глава. Нововъведението е обучено върху усъвършенствания набор от данни MENTOR, който многократно превъзхожда своя предшественик, съдържащ 2200 часа видеоклипове на 800 000 различни хора.

Google вижда няколко приложения за тази разработка. Първата е дублиране на филми и друго съдържание. Така например в оригиналния филм човек говори на английски език. VLOGGER ще ви позволи да промените изражението на лицето му и движенията на устните, за да съответстват на български , китайски, испански и всякакво друго аудио.