Представиха модела Stable Video Diffusion за генериране на кратки видеоклипове (видео)

Създателите на модела за машинно обучение с отворен код Stable Diffusion представиха Stable Video Diffusion – средство за генериране на кратки видеоклипове. Организацията е актуализирала своето хранилище в GitHub и е публикувала нови изследователски материали.

Предварителната версия на Stable Video Diffusion може да генерира кратки видеоклипове с 14 и 25 кадъра с възможност за персонализиране на скоростта от 3 до 30 кадъра в секунда. Разработчиците са публикували всичко, което е необходимо, за да локално стартиране, включително теглата на моделите. За да генерирате видеа, трябва да зададете текстово описание на крайния видеоклип.

Моделът може да бъде адаптиран за използване в собствени проекти, но разработчиците отбелязват, че все още не е готов за интегриране в търговски приложения. Екипът на разработчиците планира да продължи да разширява възможностите на Stable Video Diffusion. В бъдеще той ще бъде използван като основа за екосистема от решения за генериране на съдържание.

Очаква се скоро да бъде представен уеб интерфейс за бърз достъп до Stable Video Diffusion. Желаещите да го използват ще трябва предварително да се регистрират. Разработчиците се надяват, че опростеният достъп до модела ще помогне той да се използва за създаване на рекламни, образователни и развлекателни материали. Освен това в блога на Stability AI се отбелязва, че при тестовете Stable Video Diffusion се представя по-добре от моделите Runway и Pika Labs.

Кодът и всички необходими материали за локално стартиране на Stable Video Diffusion са публикувани в отвореното хранилище GitHub. Заедно с него е налично и подробно описание на решението.