Камерата в смартфона, особено флагманските модели е едва ли не основният елемент, на който обръщат най-много внимание както потребителите, така и производителите. Това е съвсем разбираемо: в днешния свят, в който за повечето хора едно от главните приложения е Instagram, качеството на снимките е много важен фактор. Но по какъв начин един мобилен телефон със съвсем малък оптичен сензор може да прави кадри, които не само са наравно със снимките направени от професионалист с помощта на професионален фотоапарат, а понякога дори ги превъзхождат? Причината е в така наречената дигиталната фотография. Нека да се задълбочим и да разберем малко по-подробно какво точно е това и дали наистина бъдещето е пред съвременните алгоритми, а не в ръцете на предишните майстори.
Какво е дигиталната фотография
Не е необходимо да си професионалист, за да разбереш, че в малкия корпус на смартфона няма как да бъде поставена матрица на оптичен сензор, която да е съпоставима с матриците в професионалните фотоапарати. Това е физически невъзможно. Ако се изразим съвсем опростено, именно от размера на фотосензора зависи колко светлина може да улови мобилното устройство и съответно, доколко качествени ще се получат снимките.
Казано с други думи, матриците в смартфоните са съвсем малки, а оптиката е слаба. Какво може да се направи? Специалистите потърсиха решението в така наречената дигитална фотография – цифровото преобразуване на данните, които идват от камерите на смартфона.
Интересно е мнението на професор Марк Левой (Marc Levoy) от Станфордския университет за това, по какво дигиталната фотография се различава от обикновената. Според него, тази технология съчетава в себе си съвременни методи за компютърна визуализация, които дават възможност да се получи снимка, която е технически невъзможно да бъде направена със същата камера или фотоапарат чрез традиционния досега начин.
Съчетанието на съвременните оптични сензори с мощен процесор
Важно е да се уточни, че изобретенията в областта на камерите за смартфоните продължават да се правят, а новите технологии в тази област стремително се развиват. Така например, един от трендовете през последните няколко години е обединяването на няколко миниатюрни по размер пиксели в един общ по-голям пиксел – технологията Quad Bayer. Този подход се използва например от Samsung, при който маркетинговото име на същата технология е друго, но същността е една и съща. Подобен метод използва и Xiaomi с фотосензори с резолюция 108 MP, които дават възможност за получаването на изключително качествени снимки с резолюция 12 MP. Сега започна да се прокрадва информация че през 2022 година ще се появят камери за смартфони с резолюция 200 MP. Но засега нищо не се казва дали размерът на матрицата ще бъде увеличен.
Apple, както и някои други производители на смартфони, прилагат друг подход. Те продължават да използват „класически“ оптични сензори и оптика с голяма светлосила. Обикновено това са фотосензори с резолюция 12 MP (по броя на фотодиодите може да се каже че това са 24 MP, но това сравнение не е много коректно) плюс технологията Dual Pixel с помощта на която се подобряват системите за автоматично фокусиране.
Фазовата система за автоматично фокусиране е много подходяща за заснемането на движещи се обекти. Но тя все пак не е толкова бърза, колкото лазерната. В най-новите модели смартфони започва използването на хибридни методи за автоматично фокусиране, които могат да осигурят непрекъснато фокусиране при сложни промени в движението на обекта.
Към днешен ден една от най-добрите системи за автоматично фокусиране е системата Dual Pixel – съществено подобрена система за фазово автоматично фокусиране, в която вместо 5-10% от пикселите на кадъра се използват всичките 100%. Dual Pixel се използва от Apple и в най-новите мобилни телефони на Samsung.
Но и в двата случая тези технологии заедно с редица хардуерни подобрения от рода на оптична стабилизация на изображението или вграждането на LiDAR за измерване дълбочината на сцената, са необходими по-скоро за адаптация и следващата постобработка от страна на смартфона с използването на мощна дигитална фотография.
Тези технологии могат да се използват благодарение на системите върху чипа в смартфоните. В тях са интегрирани специални модули, които са необходими единствено за обработването на постъпващата от камерите информация. Разликата между смартфон от едно съвсем начално ниво и скъпия флагман съвсем не е само до това, колко качествени са използваните алгоритми, а в това, колко бързо се изпълняват.
Така например, един кадър при iPhone в портретен или при нощен режим, или при слепването на различните кадри при избор на HDR режима, става за милисекунди. Всъщност мобилното устройство започва да натрупва кадри в специален буфер още преди потребителят да натисне бутона за заснемане, само че той не се досеща за това. Ако използваме евтин мобилен телефон от неособено известен китайски бранд, то времето за изпълнение на тези алгоритми може да бъде няколко секунди, което собственикът на подобен смартфон ще разбере по съобщението на екрана, което го предупреждава да държи телефона неподвижно.
Казано накратко, възможностите на дигиталната фотография директно зависят от използвания чип. Цифровото размиване на задния фон, обработката на цветовете, разширения динамичен диапазон, нощните снимки, електронната стабилизация на изображението са съвсем краткото изброяване на задачите, за които отговаря хардуерът на смартфона.
Стекингът и NPU модула
Ясно е, че обработката на кадрите се осъществява от чипа на смартфона, но какъв е софтуерът, който най-често се използва? Един от основните моменти е стекингът или слепването на много кадри с леко променени параметри, от които се получава една-единствена снимка.
Самият термин стекинг почти не се използва от производителите на смартфони, но самата технология е изключително разпространена и масово се прилага. Това е обединяване на многобройни кадри с леки промени в само един параметър (експозиция, фокусиране, осветеност и т.н.) от които се образува една единствена снимка, която е невъзможно да бъде получена без стекинг.
Ако се опитаме да обясним самия процес съвсем опростено, то можем да кажем, че още преди да натиснем бутона за снимката, още при стартирането на самото приложение, камерата на смартфона започва да заснема кадри, като някои от тях оставя в специален буфер. При натискането на бутона смартфона сякаш поглежда в миналото и избира кадрите с най-добри елементи, като ги съчетава с кадрите след натискането на бутона. От някои кадри се взимат сенките, от друг кадър – детайлните изображения на обектите, от трети – някакви други елементи.
Различните комбинации на многобройните настройки дават възможност снимките да се адаптират за няколко отделни сценария. Най-очевидният е автоматичният HDR режим. Представете си, че снимате своите приятели, на фона на небето в слънчев ден. Без слепването на няколко отделни кадъра на снимката ще се виждат само техните лица без правилния цвят на небето, на следващата снимка небето би имало много добър цвят, но лицата няма да се виждат и т.н.
По-горното изображение демонстрира обединяването на само два кадъра, но използваният алгоритъм е сложен и може да обединява десетки елементите на различните изображения. Колкото по-мощен е хардуерът на мобилното устройство, толкова по-незабележим е този процес за потребителя. Подобен подход използва и Apple, която тази година показа новата функция с фотографски стилове. Всъщност това са смарт филтри, които с помощта на невронна мрежа анализират кадъра, след което променят цвета и контраста, запазвайки естествени цвета на небето и на кожата на хората. Използва се сложен стекинг и невронни мрежи.
Да напомним, че HDR в ранните смартфони в продължение на много дълго време работеше твърде ненадеждно. Причината бе, че първите оптични сензори, оптика и процесори на телефоните не можеха достатъчно бързо да прихващат и обединяват няколко кадъра, за да се предотврати частичното сдвояване на изображението. Размиването на образа бе сериозен недостатък на HDR снимките в началото на 2010-те години.
Но преди 5-6 години поддръжката на HDR бе сериозно подобрена благодарение на смартфони като Galaxy S5. Фотографиите с HDR ефект вече можеха да бъдат правени в реално време, понеже използваните чипове сега имат възможност много бързо да комбинират различните кадри, като по този начин започнаха да се получават прекрасни снимки без размиване. След това Samsung и Google започнаха по подразбиране да добавят и включват HDR режима, понеже той даваше възможност за правенето на изключително качествени снимки без да се забелязва каквото и да било забавяне в скоростта на заснемане.
Другият, още по-интересен пример, е нощното снимане. Само преди три-четири години не можехме да си представим, че един малък смартфон ще може да прави толкова качествени снимки при толкова слаба осветеност. Но днес отново благодарение на обединяването на няколко кадъра с различна експозиция нощните снимки изглеждат така, сякаш са направени с професионален фотоапарат с голяма и пълноценна матрица. Разбира се, когато смартфонът обработва тази снимка, обикновено в процеса се включва невронна мрежа, която сама избира необходимите детайли на всеки кадър. Именно затова отговаря отделният NPU модул в използваната SoC на мобилното устройство.
И накрая, използва се и обединяване на кадрите с промяна на фокуса. Без да влизаме в детайли можем да кажем, че по този начин можем да променим дълбочината на рязкостта постфактум – на вече готовата снимка. Да, за определяне дълбочината на сцената се използват специални сензори, като Apple използва LiDAR, но самият боке ефект се създава по софтуерен път. При този процес бяха постигнати толкова големи успехи, че сега той започна да се използва и в киното. Мощността на съвременните смартфони е напълно достатъчна, за да могат в реално време да определят дълбочината на кадъра и да я променят както по време на заснемането на видео, така и при постобработката.
Панацея ли е дигиталната фотография?
Краткият отговор е едва ли. Или най-много засега. Твърде много са сценариите, при които смартфоните не могат да направя същите кадри, каквито стават с професионалната фотографска техника.
Все още смартфоните заснемат немалко видеа и снимки със съмнително качество. Но това е към днешен ден. Съвсем същите технологии могат да се използват и се използват в професионалните фотоапарати и камери, като резултатите са перфектни. Но никой не иска да носи със себе си тежка и обемиста фотографска техника и дигиталната фотография, която масово се използва в смартфоните, ще продължи да се развива.