Nvidia представи AI технология, която намалява използването на видеопаметта с цели 85%

На конференцията GTC Nvidia представи нова технология за невронно компресиране на текстури (Neural Texture Compression, NTC), която според компанията позволява да се намали използването на видеопаметта на графичните процесори с до 85% без загуба на качеството на изображението. Разработката е насочена към оптимизиране на работата на съвременните игри, които стават все по-сложни и изискват значителни хардуерни ресурси.

NTC замества традиционните методи за блоково компресиране на текстури с малки невронни мрежи, които декомпресират данните директно по време на рендерирането. Това намалява размера на текстурите, улеснява инсталирането на игри и намалява натоварването на VRAM по време на изпълнение. Nvidia твърди, че резултатите изглеждат дори по-качествени, като осигуряват до четири пъти по-висока разделителна способност в крайния рендеринг.

В демонстрация компанията показа сцена с вила в Тоскана, която при стандартно компресиране заемаше 6,5GB видеопамет. Използването на NTC намали този показател до 970MB, като изображението остана идентично. Друг пример – шлем на пилот: първоначалният обем на текстурите беше 272MB, блоковото компресиране го намали до 98MB, а NTC – до 11,37MB, което е 24 пъти по-малко от първоначалния размер.

Освен това Nvidia представи концепцията за невронни материали (Neural Materials). Тя позволява на невронната мрежа да определя взаимодействието на светлината с материалите без използване на сложни математически изчисления.

Обикновено GPU изчислява взаимодействието на светлината с всички слоеве на текстурите, докато в Neural Materials мрежата, обучена върху всички текстурни данни веднага извежда готово засенчване на пиксела, като отчита светлината и ъгъла. В тестовата сцена това осигури до 7,7 пъти по-бързо рендиране при резолюция 1080p без загуба на качество.

Технологията NTC работи благодарение на използването на матрични механизми за ускорение, които представляват отделен хардуерен блок в съвременните графични процесори – Tensor Cores при Nvidia, XMX engines при Intel и AI accelerators при AMD, така че основната производителност не се влошава. Именно тези блокове се използват и за работата на алгоритми за мащабиране на изображения като DLSS, FSR и XeSS.

Отбелязва се, че NTC не е генеративен AI модел и се обучава само на конкретен набор от текстури на играта. Благодарение на това технологията работи като целенасочен инструмент за компресиране без „халюцинации“ и непланирани артефакти.

Важно е да се отбележи, че тази инициатива не се ограничава само до Nvidia. Миналата година Microsoft вече стандартизира подобна технология в DirectX под името Cooperative Vectors. Intel и AMD също обявиха планове за внедряване на подобни решения, което свидетелства за обща тенденция в индустрията. Към момента нито една игра все още не поддържа Neural Texture Compression или Cooperative Vectors от Microsoft, но се очаква тяхното внедряване да се осъществи в най-близко бъдеще.