Изследователи на Nvidia представиха технология, която прави 3D модели от 2D изображения

Компютрите безпроблемно взимат един 3D модел и го превръщат в 2D картина. Те обаче изпитват трудности да правят обратното – да вземат изображение и да го превърнат в триизмерен модел. Благодарение на машинното обучение, това може да се промени.

Изследователи на Nvidia са създали технология, която използва изкуствен интелект, за да събере информация от две измерения и да създаде 3D обект. Системата се нарича DIB-R (differentiable interpolation-based renderer). На български това значи диференциран въз основа на интерполация рендер. Изградена е на PyTorch – структура за машинно обучение.

Екипът ще представи откритията си на конференция за невронни системи за обработка на информация във Ванкувър, Канада тази седмица.

Целият процес е обратен на този при видеокартите. Анализира се изображението и после се оформя много прецизен 3D обект – с форма, текстура, цвят, осветление. Енкодер-декодер архитектурата започва от полигонална сфера, която се изменя чрез информацията от изображението.

Процесът отнема 0.1 секунди, но невронната мрежа има нужда от 2 дни тренировка, ако разполага с една Nvidia V100 графична карта. Обучението с други видеокарти ще отнеме седмици. За обучението се подават за анализ няколко масива от снимки на птици. DIB-R в последствие точно създава 3D модел, когато му се даде единично изображение.

Въпреки че фокусът на експеримента е бил върху птиците, съавторът на изследването Jun Gao казва, че системата може да преобразува 2D изображение на всякакъв обект в 3D модел.