Google представи Lumiere – усъвършенстван изкуствен интелект за създаване на видеоклипове

Google демонстрира работата на пространствено-времевия дифузионен модел Lumiere. Новият инструмент за изкуствен интелект може да създава невероятно реалистични видеоклипове с продължителност до пет секунди. Невронната мрежа анимира неподвижни изображения или само части от тях в отговор на текстови подсказки на естествен език. За разлика от своите предшественици Lumiere изгражда цялата дължина на видеоклипа наведнъж, вместо да генерира първия и последния кадър, опитвайки се да отгатне какво се случва между тях. Разработката е в рамките на изследователски проект и все още не е известно дали ще бъде достъпна за широка употреба.

Lumiere може да копира стила на изображението и след това да използва този стил за създаване на поредица от видеоклипове на други теми. Невронната мрежа може да вземе оригиналния видеоклип на потребителя и да превърне всичко в Лего, оригами или цветя.

Съдейки по демонстрациите, Lumiere разполага с най-усъвършенстваните възможности за рисуване. Можете да покриете част от изображението и Lumiere автоматично ще запълни тази област – толкова безпроблемно, че намесата на изкуствения интелект ще бъде незабележима.

Изследователският екип твърди, че пространствено-времевата архитектура на U-net изгражда цялата дължина на видеоклипа наведнъж, с един пас. Това отличава невронната мрежа от предишните модели, които често генерират начален и краен кадър и след това се опитват да прогнозират какво ще се случи между тях.

На този етап това е само изследователски проект. Така че не е задължително Google да агресивно да ограничи системата, за да спазва авторските права. Както и неприкосновеността на личния живот и сигурността, както и да предотврати речта на омразата и голотата. Този процес неизменно води до по-ниско качество на резултатите при генеративните модели.