Microsoft отново доказа силата на синтетичните данни за задачите, свързани с компютърното зрение

Настоящите модели на компютърно зрение с фокус към човека (Human-centric CV) изискват милиарди параметри, огромни дейта центрове и скъпоструващ интерфейс. Но възможно ли е да се постигне същата точност, без да се харчат милиони?

Изследователи са показали, че моделите могат да бъдат обучени само върху висококачествени синтетични данни и все пак да се постигнат същите резултати. Microsoft представи DAViD — open-source фреймуеърк, който ви позволява да създавате дигитални хора с прецизна лицева геометрия и текстури.

Проектът демонстрира как синтетичните набори от данни могат да бъдат ефективно използвани за решаване на различни проблеми с компютърното зрение. По-специално, те позволяват определяне на разстоянието до обекти на снимка или видео (Depth Prediction), изчисляване на ориентацията на повърхности (Normal Estimation), сегментиране на фона и хората на снимки и видеоклипове (Background & Human Segmentation).

Синтетичните данни осигуряват перфектна пикселна точност за маркировки, което ги прави идеални за обучение на модели. Те предлагат почти безкрайно разнообразие от сцени, ъгли, осветление и пози, което позволява по-гъвкави и адаптивни алгоритми. Това означава, че моделите, обучени върху такива данни, се мащабират добре за употреба както от нулата, така и за преобучение при специфични задачи.

Microsoft е направила всичко с отворен код, така че разработчиците могат да използват 300 000 примера, предварително обучени модели и изходния код на фреймуърка, за да изградят свои собствени решения.