Alibaba представи Wan2.7-Video: ИИ моделът, който заменя пълния цикъл на филмовото производство (видео)

Китайската корпорация представи Wan2.7-Video – цялостен модел за генериране на видеосъдържание, който управлява целия процес на създаване на видео, от идеята до сюжетната карта. Системата генерира клипове с дължина до 15 секунди и резолюция до 1080p. Ключова характеристика е контролът на действията на героите, диалога, стила на снимане, осветлението и камерата чрез прости инструкции на естествен език.

Wan2.7-Video обединява четири специализирани модела: Wan2.7-t2v за конвертиране на текст във видео, Wan2.7-i2v за манипулиране на изображения, Wan2.7-r2v за конвертиране на референтни изображения и Wan2.7-videoedit за редактиране на видео. Системата поддържа текстови, графични, видео и аудио входове. Това осигурява последователност на сцените и логично разказване.

Моделът поддържа видео от 2 до 15 секунди с разделителна способност 720p и 1080p, а корпоративните API позволяват автоматизирана пакетна обработка и интегриране на решението в съществуващите работни процеси. Една от функциите е възможността да се контролират действията на героите, диалогът, стилът на снимане, осветлението и камерата чрез прости инструкции

Wan2.7-Video автоматично синхронизира движенията на устните с диалога, запазва уникалните тембри на гласа и осигурява последователни визуализации за до пет персонажа едновременно. Поддържа повече от 50 емоции и хиляди комбинации от стилове, което дава възможност за създаване на реалистични и драматични сцени без необходимост от ръчно редактиране.

Интелигентният енджин за изграждане на сюжети превръща простите входни данни в сложни, многоизмерни разкази, които включват кадри от дрон, 360-градусови снимки и контекстно чувствително осветление. Потребителите могат да задават крайните кадри и системата ще гарантира, че видеото продължава плавно, без резки преходи.