В един бъдещ ден ще можем да сложим на очите си високотехнологични очила и да се разхождаме в един град, който се рендира в реално време и който ни харесва. Ярка и чиста слънчева светлина или лека омара, залезът в ясна вечер – всичко, което пожелаем. Независимо колко унила е архитектурата – през очилата ще бъде прекрасна.
Тази възможност за рендиране с пренасянето на стилове разкрива потресаващата програма Deep Photo Style Transfer, разяснена в научна работа, публикувана в arXiv (arXiv:1703.07511).
Прехвърлянето на стила от едно изображение към друго е известен проблем, който много програмисти са се опитвали да решат в миналото. Правилният подбор на образеца, от който се взема стила, дава възможност за красива трансформация на фотографията – сякаш е заснета в друг момент от денонощието, с друго осветяване или при друго време. Досега техниките с пренасянето на стиловете с помощта на невронна мрежа бяха твърде ограничени и можеха да работят само с определени сцени, като не можеше да се постигне правдоподобност на преноса. Създателите на проекта Deep Photo Style Transfer изглежда са решили тези проблеми.
Невронната мрежа Deep Photo Style Transfe използва техниката Neural Style, но значително преработена и подобрена.
Резултатът от работата на Deep Photo Style Transfer е строго фотореалистичен. Художественият ефект се получава предимно чрез забраната на пространствените изкривявания, а преносът на стиловете е ограничен в рамките на цветовото пространство. С други думи, обектите си остават същите като в оригинала. Именно това дава възможност за създаването на специалните очила, описани в началото. Всички обекти запазват очертанията си, но изглеждат в друг стил.
Ето няколко примера:
Решен е и проблемът с прехвърлянето на стила между неподходящи обекти. Това става чрез семантична сегментация – стиловете на сградите се прехвърлят само върху сгради, а стилът на небето влияе само на небето. В крайна сметка се получават изключително реалистични преобразувания на фотографиите.
Качеството на работа на невронната мрежа можеше да бъде определено единствено чрез анкета, която показа, че Deep Photo Style Transfer постига най-голям реализъм, в сравнение с другите подобни методи.
Алгоритъмът ще бъде усъвършенстван и ще може в реално време да се обработват фотографиите чрез предварително обучени невронни мрежи.
