Genie 3: ИИ вече не само отговаря – той изгражда цели светове с физиката, героите и дъжда (видео)

Genie 3 променя начина, по който си представяме взаимодействието с виртуалната реалност.

Компанията DeepMind на Google представи Genie 3 – най-усъвършенствания си до този момент модел за симулация на света. Тази невронна мрежа е способна да създава интерактивни и динамични виртуални среди в реално време въз основа на текстови описания. Потребителят може да навигира в тези генерирани светове с разделителна способност 720p и 24 кадъра в секунда, а визуалната съгласуваност се поддържа в продължение на няколко минути.

Разработката на Genie 3 се основава на дългогодишните изследвания на DeepMind в областта на обучението на изкуствения интелект в симулирани пространства – от игри до роботика и отворени системи за обучение. В сравнение с предшествениците си Genie 1 и 2 новият модел е направил сериозна крачка напред, като осигурява реалистична навигация в реално време и значително подобрено качество на симулацията.

Тези генериращи светове модели се считат за важна стъпка към изкуствения общ интелект. Те позволяват на ИИ агентите да се учат, като взаимодействат с различни среди, да разбират как се променя светът и как се влияе от техните действия.

Основната разлика между Genie 3 и предишните модели е интерактивността. Досега невронните мрежи можеха да генерират само видеоклипове или отделни кадри, докато сега потребителят може свободно да изследва и да влияе на света. Този модел може да симулира физически явления като вода и осветеност, да анимира герои и да възпроизвежда както реални, така и измислени пейзажи. Генерирането работи в авторегресивен режим: всеки нов кадър се създава въз основа на предишните, което осигурява визуална последователност и логика на случващото се.

Genie 3 притежава зрителна памет – ако потребителят се върне на място, което вече е посетил, системата го реконструира, като взема предвид видяното преди това, като тази памет може да обхване до една минута събития. За разлика от методи като NeRF или Gaussian Splatting, при Genie 3 не се използват предварително изчислени 3D модели – тя създава изображението кадър по кадър, което прави средата по-гъвкава и реагираща на действията на потребителя.

Освен това DeepMind е въвела в модела система от „контролирани събития“: сега можете не само да се движите из света, но и да го променяте с текстови команди – например да предизвикате дъжд, да добавите предмети или да населите света с нови герои. Това разширява възможността за моделиране на алтернативни сценарии и помага на изкуствения интелект да се адаптира към неочакваните промени.

В Genie 3 е подобрена и стабилността при взаимодействие за дълги периоди от време. Поддържането на логическа последователност дава възможност за извършване на по-сложни действия в рамките на минути, което беше трудно за изпълнение: всякакви грешки в предишните кадри можеха да се натрупат и да разрушат целостта на сцената. Новият модел обаче се справя с това достатъчно добре, за да поддържа сюжетно ориентирани и целенасочени сценарии.

Въпреки това все още има известни ограничения. Действията на самия агент са ограничени и много промени в света се извършват само чрез команди на потребителя. Сложните взаимодействия между множество агенти в едно и също пространство все още са предизвикателство. Освен това моделът не може точно да възпроизведе реални географски местоположения, а текстът върху обектите е четим само ако е изрично изписан в заявката.

Въпреки тези нюанси Genie 3 демонстрира важна промяна: ИИ вече е в състояние не само да наблюдава и реагира, но и да си представя, моделира и управлява цялостни светове в реално време.