Do razločne slike z digitalnim haluciniranjem

Morda se še kdo spomni prizora iz televizijske serije Na kraju zločina: preiskovalci bančnega ropa se domislijo tehnične zvijače – vzamejo posnetek običajne varnostne kamere in ga povečujejo, vse dokler v očesu bančne stranke ne uzrejo kristalno čistega odseva obraza storilca. Premeteno, kajne?



Pa bi bilo kaj takega mogoče tudi v praksi? Da ne, vemo vsi, ki smo kdaj s tako imenovanim digitalnim zumom poskušali povečati kak detajl na fotografiji. Nekaj malega še gre, če pretiravamo, pa iz pik nastajajo vedno večji, med sabo ločeni kvadratki, zaradi česar podobe precej hitro postanejo neprepoznavni zmazki. Digitalni zum namreč v nasprotju z optičnim, ki to počne z lečami, stvari povečuje s preprostim raztegovanjem. Ker pa je osnovna fotografija zajeta v določeni ločljivosti, pomeni, da s takim raztegovanjem raztegujemo tudi posamezne pike, zaradi česar je slika sčasoma videti kot babičin gobelin.

Da je primer iz uvoda zgolj scenaristična domislica, pove dejstvo, da se s tako težavo v praksi pogosto srečajo resnični organi pregona, denimo, ko poskušajo na fotografiji množice izolirati in prepoznati en sam obraz. A kot kaže, je razvoj tehnologij vendarle prišel dovolj daleč, da je zdaj mogoče tudi kaj takega. Nekaj tovrstnih rešitev je znanih že nekaj časa, velik preboj pa je pred časom dosegla skupina domačih raziskovalcev iz laboratorija za strojno inteligenco na ljubljanski fakulteti za elektrotehniko, ki so se zadeve lotili ob pomoči umetne inteligence.
 

Vir Fakulteta za elektrotehniko

Interpolacija in haluciniranje

Pa vzemimo skrajni primer: kaj storiti, ko imamo komajda prepoznavno fotografijo obraza v ločljivosti le 24 x 24 pik? Prva rešitev, ki nam pride na misel, je umetno dodajanje pik oziroma interpolacija, kot se temu reče strokovno. Algoritem najbolj osnovne interpolacije okoli vsake pike preprosto razporedi še štiri enake. Rešitev je bolj za silo; sliko lahko tako povečamo le minimalno, preden prevara postane očitna in moteča.

Precej boljša rešitev je uporaba umetne inteligence, ki priskoči na pomoč pri pametnem razpostavljanju in obarvanju dodatnih pik ter s tem rekonstruiranju obraznih potez. Model slovenskih raziskovalcev zmore izboljšati ločljivost slik obrazov za kar osemkrat. Zmogljiv računalnik z ustrezno programsko opremo lahko še tako razmazani sliki obraza doda tako imenovano visokofrekvenčno informacijo. Umetna pamet namreč pri človeškem obrazu nekatere stvari lahko »pričakuje«. Denimo, da bo končni izdelek moral imeti par oči, nos in druge človeške pritikline. Prav tako je vse našteto pri človeku vedno razvrščeno v pričakovanih razmerjih, jasno pa je tudi, da na primer uho ne raste sredi obraza.



Vse to so osnovna izhodišča, na katerih slonijo modeli poustvarjanja fotografij obrazov. Preostali del informacij računalnik preprosto predvidi, razvijalci rečejo, da halucinira. Gre pa za dodajanje stvari k sliki, ki jih tam ni bilo, a se ve, da bi morale biti. Končni izdelek nastane s kombiniranjem tistega, kar umetna inteligenca prebere iz osnovne slike, ter podrobnosti, ki jih na podlagi splošnih informacij doda sama.
 

Strojno učenje

Seveda pa umetna pamet tudi za drugi del potrebuje nekakšen nabor informacij. Tega so znanstveniki zagotovili tako, da so v sistem vnesli več milijonov visokoločljivostnih fotografij ljudi v različnih položajih in svetlobnih razmerah ter jih nato degradirali v nizko ločljivost, s tem so dobili pare, ki jih je sistem lahko proučeval in se učil na lastnih napakah, zaradi česar je njegovo poznejše posploševanje postajalo vedno bolj kakovostno.

Umetna inteligenca ni vsemogočna, je pa pri nekaterih specifičnih opravilih že zelo dobra. Osemkratna povečava slovenskih raziskovalcev pomeni, da iz fotografije ločljivosti 24 x 24 oziroma 567 pik dobimo izdelek ločljivosti 192 x 192, kar nenadoma postane kar 40.000 pik. Z drugimi besedami, 98 odstotkov take fotografije je računalniško generirane.



Ostajajo pa seveda še izzivi, in to ne majhni: pri povečevanju prej omenjene ločljivosti 24 x 24 pik se popolnoma izgubijo obrazne gube, ki jih stroj ne more predvideti. Zato umetna inteligenca pogosto udari mimo, ko gre za starost modela, oseba na končnem izdelku ima običajno povsem gladka lica in čelo. Enako je s podrobnostmi na frizuri, lasje so na končnih slikah običajno briljantinasto gladki.
 

Praktična raba?

Poleg tega, da algoritem utegne priti prav policistom in tožilcem pri prepoznavi obrazov nepridipravov, je možnosti uporabe še veliko. Prva, ki nam pade na pamet, je izboljševanje starih filmov in drugih posnetkov. Vsi se spomnimo, kako so nekatere kultne izdelke, denimo Vojno zvezd, osveževali in izboljševali z ročnim popravljanjem originalnega traku, po novem pa bi to lahko potekalo samodejno.

Tehnologija bi bila lahko uporabna tudi pri prenosu visokoločljivostnih videov. Pred pošiljanjem bi posnetek namenoma osiromašili, s čimer bi zmanjšali količino podatkov in pridobili pri hitrosti prenosa. Na končni postaji bi posnetku ob pomoči algoritma spet povrnili originalno ločljivost. Ko bodo procesorji in pomnilnik toliko zmogljivi, da bodo vse to zmogli izračunavati v realnem času, pa bi tehnologijo lahko uporabili tudi pri videoklicih, kjer se danes ob najvišji kakovosti slike pogosto srečamo s »kolcanjem« posnetka.
 

Dosežek že odmeva

Model izboljševanja fotografij je nastal v okviru doktorskih raziskav Klemna Grma s sodelovanjem kolega s fakultete Vitomirja Štruca in Walterja Scheirerja z univerze Notre Dame v ZDA in je septembra lani prejel nagrado Maxa Snijderja. To je ena od treh nagrad evropske zveze za biometrijo (EAB), ki jo vsako leto podelijo najboljšim doktorskim disertacijam v Evropi, povezanim s tem področjem. Le nekaj pozneje je dosežek nagradila tudi Univerza v Ljubljani in ga uvrstila med najodličnejše raziskovalne dosežke univerze v letu 2019.