Netflix патентова подобрения на технологията за зелен екран (видео)

Технологията за зеления екран съществува от почти един век. През годините техниката непрекъснато се усъвършенства, но все още не може да се счита за съвършена. За да се получи най-реалистичен резултат, осветлението трябва да е правилно и внимателно балансирано. Зелените отражения от фона към други обекти влияят върху наситеността на цветовете. Сенките върху зеления екран също влияят върху точността на цветовете и трябва да бъдат внимателно управлявани. А движението на малките обекти, като например кичури коса, може да доведе до разсейващи визуални артефакти.

Оттенъкът на зеленото също е от значение. В YouTube има много видеоклипове на синоптици, които случайно са облекли дрехи с грешен нюанс на зеленото и тази част от тялото им е станала невидима. Ръчното редактиране на кадрите може да реши тези проблеми, но отнема много време и не винаги дава перфектни резултати.

Netflix заяви, че е разработила техника, която подобрява отдавна използвания метод chromakey. В статия, публикувана в сървъра за предпечатни публикации arXiv, изследователите на Netflix заявяват, че са разработили нов подход, наречен Magenta Green Screen (MGS), който постига по-добра точност и по-бързи резултати.

Името идва от използвания подход на осветяване: актьорите са осветени отпред с червени и сини светодиоди на фона на яркозелени светодиоди. Червеното и синьото осветление създава лилаво сияние върху актьорите.

Тъй като цифровите видеокамери улавят цветовите стойности в червената, зелената и синята гама, единият канал улавя фона (зеления канал на екрана), а предният план е напълно черен, докато в същото време червеният и синият (магента) канал улавят предния план, като фонът се изобразява напълно черен.

За да премахне лилавите оттенъци, Netflix използва инструменти с изкуствен интелект, като сравнява снимки на актьорите на естествена светлина с екшън сцени, в които има оттенъци.

„Нашата методология дава висококачествени резултати при композиране, когато се прилага на най-съвременна LED виртуална производствена сцена“, казва старши изследователят на Netflix.

Този процес дава възможност за заснемане на действието със запълнени виртуални фонове в реално време. Не се изисква специално оборудване за камерата или ръчни настройки на цветовете.

Един от проблемите, които са разгледани, е проблемът с пикселите по периферията на обектите, които могат да бъдат част от обекта или от фона.

„Частичното покритие на ръбовете, размитите и прозрачните структури, които не са добре фокусирани и размазани от движение – всички те проявяват частична прозрачност“, казва специалистът. „Определянето на RGB цвета на елемента на преден план в даден пиксел, както и на прозрачността на пиксела, е истинско предизвикателство“.

Изследователите са усъвършенствали метода на триангулация, при който неподвижните обекти се снимат на различни фонове, за да се получат много точни описания на обектите.