Intel научи AI да оценява как ъпскейлинга и генерирането на кадри влияят на качеството на графиката в игрите

Intel представи AI инструмента CGVQM, който позволява обективна оценка на качеството на изображението в съвременните игри. Моделът анализира изкривяванията, причинени от техники за мащабиране и подобряване на графиката, като например увеличаване на мащаба (DLSS, FSR, XeSS), генериране на кадри и други методи за рендиране.

Традиционните показатели (като PSNR) не винаги са подходящи за оценка на графиката в игрите, тъй като първоначално са създадени за анализ на компресирано видео. Те не отчитат специфичните артефакти, причинени от ъпскейлъри, трасиране на лъчи или динамично засенчване. Например, по време на обработката могат да се появят трептене, призраци, стъпаловидност, прекъсвания на обекти и други.

Новата метрика, наречена Computer Graphics Visual Quality Metric (CGVQM) използва изкуствен интелект, за да анализира видеопоследователности и да идентифицира дефекти, причинени от настоящите техники за обработка на изображения.

Екип от изследователи от Intel – Акшай Джиндал, Набил Садака, Антон Соченов и други предлагат подход в две стъпки. Първо, те създадоха наборa от данни CGVQD, който включва невронна мрежа за намаляване на шума, увеличаване на мащаба, интерполация на кадъра и адаптивно засенчване и след това го използваха за обучение на невронната мрежа CGVQM, способна да оценява качеството на изображението по същия начин, както го прави човек.

За да се калибрира моделът, на група доброволци бяха показани видеоклипове от набора от данни и бяха помолени да оценят артефактите по скала от „незабележими“ до „силно дразнещи“. Тези данни станаха основа за обучение на 3D конволюционна невронна мрежа (3D-CNN), базирана на архитектурата ResNet-18, която може да анализира не само пространствените, но и времевите изкривявания, което е от решаващо значение за видеото.

В резултат на това CGVQM превъзхожда повечето съществуващи метрики в тестовете, особено когато работи със собствения си набор от данни.

Версията на модела CGVQM-5 постигна резултати, близки до човешката преценка, докато по-простата CGVQM-2 се класира на трето място сред тестваните системи. CGVQM може да анализира и съдържание на трети страни извън обучителната извадка, което го прави универсален инструмент. В бъдеще изследователите обмислят преминаване към архитектурата Transformer, за да подобрят производителността. Те могат също така да добавят анализ на оптичния поток към метриката за по-подробна оценка.