Runway представи своя първи ИИ-модел и добави звук към своя видео генератор

Runway, компания, която преди това е произвеждала генератори на изображения и видео, представи ИИ-модел за генериране на виртуални светове, наречен GWM-1. Той работи чрез предсказване кадър по кадър, създавайки симулации с разбиране на физиката и как светът се държи с течение на времето.

Моделът на свят — това е система с изкуствен интелект, която изучава вътрешните симулации на процеси, които биха могли да възникнат в света. Тя може да разсъждава, планира и изпълнява действия, без да е необходимо да бъде обучавана за всеки възможен сценарий от реалния свят. „За да изградим модел на света, първо трябваше да разработим наистина висококачествен видео модел. Вярваме, че правилният начин за изграждане на модели на света е да ги обучим да предсказват пикселите директно и това е най-добрият начин за постигане на универсално моделиране. С достатъчен мащаб и правилните данни е възможно да се изгради модел, който разбира сравнително добре как работи светът“ — обясни главният изпълнителен директор на Runway, Анастасис Германидис.

Компанията представи три версии на новия си модел на света: GWM-Worlds, GWM-Robotics и GWM-Avatars. GWM-Worlds е приложение, позволяващо създаване на интерактивни проекти. Потребителят дефинира начална сцена, използвайки текстова заявка или примерна снимка, и докато изследва пространството, моделът генерира свят, отчитайки геометрията, физиката и осветлението. Симулацията работи с резолюция 720p и 24 кадъра в секунда. GWM-Worlds може да се използва в разработването на игри и е подходящ и за обучение на навигационни агенти и агенти за реални действия. GWM-Robotics е проектиран да генерира синтетични данни, обогатени с нови параметри, като например променящи се метеорологични условия или появата на препятствия. Този метод ще помогне да се идентифицира кога и при какви условия роботите са способни да нарушават правилата, като се вземат предвид различни сценарии. GWM-Avatars е проектиран да създава реалистични аватари и да симулира човешкото поведение. В момента Worlds, Robotics и Avatars работят като отделни модели, но Runway планира да ги комбинира.

Компанията обяви и актуализация на базовия си модел Gen 4.5 , който вече може да генерира вградено аудио и да създава дълги, многокадрови видеоклипове. Това могат да бъдат едноминутни клипове с постоянен поток от герои, вграден диалог, фонов звук и сложни кадри от различни ъгли. Възможно е също така да редактирате съществуващо аудио, да добавяте диалог и да променяте многокадрови видеоклипове с всякаква дължина. Всички потребители на платения план могат да използват видео генератора Runway Gen 4.5. GWM-Robotics ще бъде достъпен чрез SDK; в ход са дискусии с партньори за интегриране на GWM-Robotics и GWM-Avatars за създатели на роботика и други бизнеси.