Прототип на приложение за прехвърляне на изображения от реалния свят в графичен редактор

Френският художник, дизайнер и програмист Сирил Диан (Cyril Diagne), който обича да експериментира различни интерфейси за взаимодействие с потребителите, публикува прототипа на приложението ar-cutpaste, в което се използват технологиите на допълнена реалност за прехвърляне на изображения от реалния свят в графичен редактор.

Неговата програма дава възможност с помощта на смартфона да се направи снимка на произволен реален обект под необходимия ракурс, след което приложението самостоятелно премахва фона и оставя само обекта. След това потребителят може да премести фокуса на мобилното устройство към екрана на персонален компютър със стартиран графичен редактор, да избере необходимото място и именно там да вмъкне въпросния обект.

4/10 – Cut & paste your surroundings to Photoshop

Code: https://t.co/cVddH3u3ik

Book: @HOLOmagazine
Garment: SS17 by @thekarentopacio
Type: Sainte Colombe by @MinetYoann @ProductionType
Technical Insights: ↓#ML #AR #AI #AIUX #Adobe #Photoshop pic.twitter.com/LkTBe0t0rF

— Cyril Diagne (@cyrildiagne) May 3, 2020

Кодът на сървърната част е написана на Python, а мобилният клиент за Android – на Python с използването на фреймуърка React Native. За отделянето на обекта на снимката и изчистването на фона се използва библиотеката за машинно обучение BASNet, която използва PyTorch и torchvision. За определяне на точката, където да бъде вмъкнат този обект се използва пакета OpenCV и класа SIFT. За взаимодействието с графичния редактор, стартиран в компютърната система се използва опростен сървърен манипулатор, който подава изображението с необходимите X и Y координати. Засега се поддържа само Photoshop, като в близко бъдеща ще бъде вградена поддръжката и на други графични редактори.