ИИ вече може да превърне отраженията на очите ви в сложни 3D визуализации

Очите ни позволяват да виждаме света и всичко това зависи от взаимодействието между светлината и очите ни.

Зрението е процесът, при който светлината навлиза в окото и се фокусира от лещата върху ретината, където специализирани клетки, наречени фоторецептори преобразуват светлината в електрически сигнали. След това тези сигнали се предават по зрителния нерв към мозъка, който ги интерпретира като зрителни образи, което ни позволява да възприемаме света около нас.

Въпреки това част от светлината, която попада в окото се отразява от тънък течен отразяващ слой, който покрива роговицата. Сега учените са открили начин за визуализиране на триизмерни (3D) изображения от тези очни отражения.

Ново проучване на учени от Университета на Мериленд описва изобразяването на тези 3D отражения с помощта на алгоритъм за визуално изобразяване с изкуствен интелект, наречен Neural Radiance Field или NeRF.

Генериране на данни за NeRF

NeRF е невронна мрежа, която генерира 3D интерпретации на сложни сцени. Тя взема множество 2D изображения, заснети от различни ъгли, и синтезира непрекъснат 3D изглед с голяма дълбочина и детайлност.

Екипът от изследователи започва със заснемането на множество изображения с помощта на камера с висока резолюция, фокусирана върху човек в движение. Разглеждайки отражението в окото на човека, те наблюдават огледален образ на зрителното поле, което им позволява да идентифицират обекти в околността.

Изображенията също така уловиха детайли на окото, като например текстурата на ириса. За да премахне тези детайли, екипът използва разлагане на текстурата.

Екипът също така извърши изчисления, с които да се проследи къде точно гледат очите на човека, като се използва геометрията на роговицата, която е почти еднаква при всички хора. Това позволи да се определи ъгълът на камерата и след това да се нанесат координатите на изображението върху извитата повърхност на роговицата. Тази информация осигурила посоката, необходима на изкуствения интелект NeRF за реконструиране на 3D визуализация на околната среда.

Използване на NerF AI за визуализиране на 3D изображения

Учените са използвали човешко око за оценка на изкуствения интелект на NeRF, което е довело до визуализиране на изображението с разумна разделителна способност и визуализиране на 3D изображения с изобразена дълбочина. Синтетичните тестове с използване на фалшиво око пред цифрово изображение обаче доведоха до по-ясно изображение с подобрена разделителна способност при 3D изобразяването.

При един от тестовете си, екипът прилага метода върху очите от два музикални видеоклипа на Майли Сайръс и Лейди Гага, за да възстанови това, което са виждали те по време на снимките.

Възстановяването чрез NeRF показа светодиодна светлина в окото на Майли Сайръс, което съответства на концепцията на видеоклипа за проливане на сълза и осветяване от ярка светлина. От друга страна, окото на Лейди Гага показва неясно изображение. Екипът го интерпретира като камера на статив.

В музикалните видеоклипове музикантът вероятно е бил основен фокус с добре осветена околна среда. Настройките на осветлението в ежедневни събития, като например разговори в Zoom или селфита може да са по-подходящи за получаване на информация за заобикалящата среда.

Можете да разгледате повече за тяхната методология и визуализираните изображения тук.

Подробните резултати от тяхното проучване може да прочетете в arXiv.