NVIDIA представи алгоритъм за невронно компресиране на текстури – 4 пъти по-висока разделителна способност с 30% по-малко потребление на памет

В статия, озаглавена „Невронно компресиране на текстури от материали с произволен достъп“, NVIDIA представи нов алгоритъм за компресиране на текстури Neural Texture Compression (NTC). Алгоритъмът е отговор на нарастващите изисквания към видео-паметта, която в момента трябва да съхранява текстури с висока разделителна способност, както и много свойства и атрибути, свързани с тях, за да рендира материали с висока прецизност и естествен вид.

От NVIDIA казват, че NTC осигурява 4 пъти по-висока разделителна способност (16 пъти повече тексели) от блоковата компресия, която представлява стандартно компресиране на текстурите с помощта на графичния процесор. Алгоритъмът на NVIDIA представя текстурите като тензори (три измерения), но без никакви допускания, както при блоковата компресия (BC). Единственият толеранс, който NTC прави е, че всяка текстура е с еднакъв размер.

Произволният и локален достъп са важни характеристики на NTC. За компресиране на текстури чрез графичен процесор е изключително важно да може да има достъп до тях с малки разходи и без забавяне, дори при прилагането на високи коефициенти на компресия. Новият подход има за цел да компресира множество канали и MIP-карти (текстури с различни размери) заедно, което води до по-добро качество и битрейт от JPEG XL или AVIF. За разлика от конвенционалните алгоритми за компресиране, които изискват специални блокове, NTC алгоритъмът използва техники за умножение на матрици, които се изпълняват от самите съвременни графични процесори. Според статията, това прави NTC алгоритъма по-практичен и функционален поради по-малкото ограничения на диска и паметта.

Според статията, невронните текстури могат да бъдат изобразени в реално време, като се използват до 16 пъти повече тексели, а скоростта на рендеринга при 4K е от 1,15 ms (измерено на RTX 4090). Повече информация ще бъде представена на SIGGRAPH 2023 на 6 август.