Нов ИИ алгоритъм може да създава 3D модели от 2D изображения за 5 секунди

Творческата индустрия се нуждае от постоянен поток от съдържание, за да поддържа феновете щастливи и това съдържание трябва да бъде създадено по някакъв начин. Когато става въпрос за 3D модели, алгоритмите с изкуствен интелект могат да окажат голяма помощ, като съкратят времето за генериране.

Като използват голям набор от данни за обучение на алгоритъм за машинно обучение, изследователите от Adobe и Австралийския национален университет са създали технология, която може да направи чудеса в създаването на 3D модели. Изследователите са създали това, което смятат за първия голям модел за реконструкция (LRM), способен да предсказва формата на 3D модел чрез 2D изображение и то само за 5 секунди.

Предишните модели за генериране на 3D изображения са били обучавани върху малки набори от данни, фокусирани върху една категория изображения, обясняват изследователите в своята статия. Техният LRM модел има силно мащабируема, базирана на трансформатори архитектура с 500 милиона обучаеми параметри и е обучен върху около 1 милион 3D обекта, налични в наборите от данни Objaverse и MVImgNet.

Тази комбинация от модел с голям капацитет и широкомащабни данни за обучение осигурява на алгоритъма LRM „силно обобщаваща“ способност за създаване на съдържание, обясняват изследователите. Моделът е успял да създаде „висококачествени“ 3D реконструкции от различни тестови изображения, включително снимки от реалния свят, се казва в статията. Освен това LRM може да приема за свой входен 2D модел както „нормални“ изображения, така и такива, генерирани от инструменти като DALL-E и Stable Diffusion – звучи доста добре.

Изследователите твърдят, че LRM има потенциални „трансформиращи“ възможности, тъй като може да се използва в широк спектър от индустрии, включително дизайн, развлечения и игри. Дизайнерите или 3D художниците биха могли да оптимизират процеса на 3D моделиране, като значително намалят времето, необходимо за генериране на активи за видеоигри или анимации. Създаването на 3D съдържание в бързо развиващата се индустрия се превърна в предизвикателство и компаниите за изкуствен интелект бързат да предоставят потенциални решения като услугата Stable 3D, представена наскоро от Stability AI.

LRM може също така да демократизира 3D моделирането, тъй като „обикновените“ потребители потенциално биха могли да разработват високодетайлни модели от снимки, направени със смартфон. Въпреки, че LRM все още се сблъсква с предизвикателства, като например размазани текстури за скрити части от изображението, той открива свят на творчески и търговски възможности. Изследователите са предоставили страница с демонстрационни видеоклипове и интерактивни 3D мрежи, за да покажат какво може да прави LRM в момента.