PIFu – система с машинно обучение за изграждане на 3D човешки модели от 2D снимки

Специалисти от няколко американски университета представиха проекта PIFu (Pixel-Aligned Implicit Function), в който се използва машинно обучение за изграждането на 3D модели на хора по една или няколко двуизмерни снимки. Системата пресъздава сложните варианти на дрехите, като например, плисирана пола с гънки и обувки с високи токчета, както и най-различни прически. Използваният алгоритъм самостоятелно изгражда текстурата и формите в невидимите области на двуизмерните снимки. Кодът на проекта е написан на програмния език Python с използването на фреймуърка PyTorch и се разпространява под MIT лиценза.

Като източник за изграждането на триизмерния обект се използва обучена невронна мрежа, която дава възможност за избиране на най-вероятната форма и да добавя скритите елементи, като използва многобройните модели, с които е била обучена. Едновременно с това, в рамките на проекта се предлага и алгоритъм за съпоставяне на получената обемна фигура с текстурите на представените  в началото двумерни изображения. Този алгоритъм подравнява пикселите на 2D изображенията в съответствие с тяхната позиция в 3D обекта и генерира най-вероятните текстури, които няма как да се видят на снимката или снимките.

Използваният от специалистите готов и вече обучен модел се предлага за свободно изтегляне, но базата данни, с която е било извършено обучението не е достъпна, понеже в нея има обекти от комерсиално 3D сканиране.