Вече можете да генерирате видеоклипове с изкуствен интелект само с 6GB VRAM

FramePack прави висококачествената видео дифузия изненадващо лека.

Генерирането на видео с помощта на изкуствен интелект скоро вече може да не се ограничава до скъпи абонаменти или мощни сървъри. Благодарение на скорошен пробив дори лаптоп за игри може да генерира пълнометражни видеоклипове с помощта на изкуствен интелект.

Пробивът е дело на Лвмин Жанг от GitHub и Маниш Агравала от Станфордския университет. Дуото е разработило FramePack – архитектура на невронна мрежа, която позволява висококачествено дифузионно видео с едва 6 GB VRAM. Това е значително постижение, особено като се има предвид размерът на модела не е малък – 13 милиарда параметъра – което му позволява да генерира пълноценни 60-секундни клипове при 30 FPS, използвайки само графичен процесор от среден клас.

Ключът се крие в начина на работа на FramePack. Традиционните модели за създаване на видео разчитат на предишните генерирани кадри, за да предскажат следващия. С увеличаването на дължината на видеоклипа се увеличава и „времевият контекст“ – броят на миналите кадри, които моделът трябва да вземе предвид – което води до по-високи изисквания към паметта. Ето защо повечето модели изискват минимум 12 GB VRAM, за да работят ефективно.

FramePack коренно променя този подход. Вместо използването на паметта да се увеличава при по-дългите клипове, той компресира входните кадри в зависимост от важността им в контекст с фиксирана дължина, като запазва компактността и постоянството на паметта независимо от продължителността на видеото.

Това нововъведение позволява на модела да обработва хиляди кадри, дори при големи структури, на графични процесори от клас лаптоп. Тя също така позволява обучение с размери на партидите, сравними с тези, използвани в моделите за дифузия на изображения.

Но FramePack не само намалява нуждите от памет, но и решава проблема с дрейфа – често срещан проблем, при който качеството на видеото се влошава с течение на времето. Като използва интелигентни модели за компресия и техники за планиране, FramePack допринася за поддържане на визуалната последователност от началото до края.

На всичкото отгоре моделът включва удобен графичен потребителски интерфейс. Потребителите могат да качват изображения, да въвеждат текстови подсказки и да показват предварителен преглед в реално време, докато се генерират кадрите. При RTX 4090 оптимизираните скорости на генериране достигат до 0,6 кадъра в секунда. Естествено, производителността е по-ниска при по-слабите графични процесори, но дори RTX 3060 може да се справи с нея.

Понастоящем FramePack поддържа графичните процесори RTX 30, 40 и новата серия 50 на Nvidia, при условие че те поддържат форматите за данни FP16 и BF16. Все още няма потвърдена поддръжка за графичните процесори на AMD и Intel, но моделът работи в редица операционни системи, включително Linux.

Пълните данни за модела и изходния код са достъпни в GitHub.