Techlive
  1. Domů
  2. Umělá inteligence AI

Noční fotografie v telefonu: šest kroků od senzoru k AI výpočtu

Stisk spouště ve tmě spustí řetězec expozic, snímání senzoru, skládání a výpočtů v ISP i NPU. Dva telefony se stejným senzorem mohou dopadnout jinak, protože rozhoduje optika, stabilizace, firmware a algoritmy.

Noční fotografie v telefonu: šest kroků od senzoru k AI výpočtu
Reklama

Ve tmě telefon obvykle neudělá jeden snímek. Po stisku spouště spustí sérii expozic a z nich počítá výsledek. U denního snímku stačí jedna expozice a rychlá úprava; v noci je fotonů málo, a tak telefon sází na delší expozici, vyšší zesílení, více snímků a výpočetní rekonstrukci. Část výsledné fotky je změřená, část je statisticky odhadnutá.

To je i důvod, proč dva telefony se stejným senzorem nemusí mít stejný noční výstup. Senzor je jen první článek. Mezi scénou a JPEGem nebo HEIFem stojí optika, stabilizace, kalibrace, obrazový procesor, paměťová propustnost a algoritmy, které rozhodují, kolik snímků se použije a jak agresivně se potlačí šum.

1. Měření a rozhodnutí o expozici

Telefon průběžně čte náhledový obraz a z něj odhaduje jas, kontrast a pohyb. Po stisku spouště zvolí expoziční strategii: krátký čas a vyšší ISO, nebo delší čas s nižším ISO a spoléháním na optickou stabilizaci. Vyšší ISO přitom neznamená, že na senzor dopadne více světla. Zesiluje už vzniklý náboj před převodem na digitální hodnotu, a tím zesiluje i šum.

2. Senzor přemění fotony na náboj

Každý pixel senzoru akumuluje náboj úměrný počtu dopadlých fotonů. V noci je tento počet malý, takže roste relativní vliv shot noise a temného proudu. Telefon proto často používá pixel binning: u Quad Bayer senzoru spojí čtveřici stejně barevných pixelů do jednoho výstupního pixelu. Výsledkem je menší rozlišení, ale větší signál a lepší poměr signálu k šumu. U 50MP senzoru tak vzniká běžně 12,5MP výstup.

3. Převod, kalibrace a surová data

Náboj se převede přes analogový zesilovač a ADC na digitální RAW. Ten ještě není fotka. Firmware musí odečíst black level, opravit vadné pixely, kompenzovat lens shading, tedy pokles jasu ke krajům objektivu, a srovnat rozdíly mezi barevnými kanály. Stejný senzor v jiném modulu má jinou kalibraci a jiné optické vady, takže i surová data se liší.

4. Série expozic a stabilizace

Noční režim pořídí několik snímků po sobě, často s různou délkou expozice. Kratší snímky zachytí pohyb a světla, delší posbírají více fotonů ve stínech. OIS posouvá optiku proti chvění ruky a gyroskop dodává data pro zarovnání. Bez OIS musí firmware volit kratší expozici, jinak vznikne pohybová neostrost. S OIS lze jít na delší čas, ale ani stabilizace nevyřeší pohyb lidí nebo listí.

5. Skládání a potlačení šumu

Obrazový procesor zarovná snímky na sebe a sloučí je. Náhodný šum klesá s odmocninou počtu snímků: v ideálním případě devět snímků sníží šum zhruba třikrát. Současně se maskují pohybové oblasti, aby duchové a rozmazané objekty nepronikly do výsledku. Algoritmus musí rozhodnout, který snímek je referenční, jak moc věřit tmavým partiím a kde naopak zachovat texturu.

6. AI, tonální mapování a výstup

Následuje výpočetní část: neuronová síť pro potlačení šumu, segmentace scény, lokální tonální mapování, doostření a barevná korekce. AI umí rozpoznat oblohu, tvář nebo text a podle toho volit sílu úprav. Neumí však vrátit fotony, které na senzor nedopadly. Tam, kde je signál pod úrovní šumu, model doplňuje pravděpodobný vzor. Výsledkem je JPEG nebo HEIF, tedy už renderovaný obraz, ne surový záznam.

Proč stejný senzor nestačí

Optika. Clona f/1,7 proti f/1,9 pustí zhruba o čtvrtinu více světla. Vrstvy objektivu zase ovlivňují flare, odlesky a barevné vady.

Stabilizace. OIS nebo posuv senzoru dovolí delší expozici. Telefon bez stabilizace musí zkracovat čas, a tím zvyšovat ISO nebo počet snímků.

Kalibrace a ISP. Black level, lens shading a šumový profil se ladí pro konkrétní modul. Jiný firmware může mít jinou agresivitu odšumování a jiné barevné podání.

Algoritmy a výkon. Počet snímků, kvalita zarovnání, maskování pohybu a tonální mapování závisí na SoC, paměti a tepelných limitech. Delší série znamenají více dat a větší riziko zpomalení.

Nastavení. Automatický noční režim, vypnutý noční režim, expoziční kompenzace nebo RAW mají na výsledek větší vliv než samotný senzor. RAW v telefonu navíc často není úplně surový; i do něj se promítá část korekcí.

Noční fotka z telefonu je kompromis mezi délkou expozice, počtem snímků a rizikem pohybových artefaktů. Firmware musí rozhodnout, kde tento kompromis leží, a výsledný soubor je vždy renderovaný odhad scény.

Foto: Jobert Enamno / Pexels

Reklama
Reklama

Nejnovější

Všechny novinky