So zatiralski algoritmi ali ljudje?

Nekaj je jasno: algoritmi, kot jih poznamo danes, so daleč od popolnosti. Enkrat so nenatančni, drugič rasistični, tretjič šovinistični, četrtič pretirano politično korektni. Zaradi njihovih napak so se na udaru kritikov znašli skoraj vsi tehnološki giganti, kljub temu pa bi bilo prezgodaj trditi, da so algoritmi a priori slabi. So zgolj odsev tistih, ki jih (so)ustvarjajo.

Francoska multinacionalka Idemia je eno največjih podjetij za izdelavo varnostnih sistemov na podlagi tehnologij, denimo prepoznave obraza. Če to ime vpišemo v slovensko različico Googlovega brskalnika, sicer dobimo zelo malo zadetkov, toda Idemia v svetu, ki postaja vse bolj podoben tistemu iz Orwellovega romana 1984, igra pomembno vlogo. Njene tehnologije uporabljajo policisti, detektivi (tudi razvpiti FBI), nadzorniki na letališčih in mejnih prehodih, vojaki …

Vendar algoritmi tega podjetja obrazov vedno ne prepoznajo natančno. Julijski test ameriškega nacionalnega inštituta za standarde in tehnologijo (NIST) je pokazal, da sta se dva najnovejša algoritma Idemie desetkrat pogosteje zmotila pri prepoznavanju obrazov temnopoltih ljudi v primerjavi z belopoltimi. Pri prvih sta se med deset tisoč obrazi zmotila desetkrat, pri drugih pa enkrat. Prav tako se vsakič znova izkaže, da algoritmi natančneje prepoznajo moške kot ženske, kar je vsaj deloma posledica uporabe ličil.

Dobra novica je, da Idemia teh dveh algoritmov še ni poslala na trg, manj spodbudno pa je, da je to le eden v vrsti podobnih spodrsljajev. »Algoritmi na področju računalniškega vida (tehnologij, ki v slikah prepoznavajo vzorce po vzoru človeškega vida) še nikoli v zgodovini niso bili tako natančni pri razlikovanju človeških obrazov. NIST je lani poročal, da so v primerjavi z letom 2010 napredovali za 25 odstotkov,« so zapisali v reviji Wired, »vendar jim v tem obdobju ni uspelo premostiti težav pri prepoznavanju obrazov različnih ras.«

Kdo je tu kriv?

Težave imajo tudi algoritmi, ki jih uporabljajo v tehnoloških gigantih, kot so Microsoft, IBM in Amazon. Zadnji prisega na tehnologijo rekognition, raziskava zveze za državljanske svoboščine pa je lani na primeru obeh domov ameriškega kongresa pokazala, da je omenjeni sistem 40 odstotkov napak storil pri prepoznavanju obrazov temnopoltih, 60 odstotkov pa pri prepoznavanju obrazov belopoltih ljudi. Pri tem je ključen podatek, da je v ameriškem kongresu zgolj 20 odstotkov temnopoltih.

Strokovnjaki še vedno ugotavljajo, od kod takšne razlike. Odgovori se razlikujejo glede na interese. Medtem ko nekateri predstavniki industrije poudarjajo, da je težje posneti dobro fotografijo človeka s temnejšo poltjo, aktivisti za zmanjšanje rasne neenakosti v nenatančnih algoritmih vidijo kršenje ameriške ustave. Wired omenja tudi razloge, ki jih v poročilu navaja IMB. »Velike zbirke obrazov je najlažje najti na spletu, kjer so najdejavnejši zahodnjaški belopolti moški. V treh zbirkah obrazov, ki jih najpogosteje navajajo v akademskih študijah, je 81 ali več odstotkov ljudi s svetlo poltjo.«

Nepravični sodniki

Podobnih primerov je še veliko, in čeprav je o njih vredno razmišljati in jih poskušati odpraviti, še zdaleč niso tako skrb vzbujajoči kot nekatere druge »rasne« zmote algoritmov. Posebno pozornost si zasluži njihova uporaba v sodstvu.
Podatkovni novinar Jeff Larson je lani na medijskem festivalu v Perugii poslušalcem povedal resnično zgodbo o osumljencih, ki sta se znašla pred roko pravice. Osemnajstletna črnka je ukradla otroško kolo, pred tem je storila nekaj manjših prekrškov, 41-letni belec pa je zagrešil podoben zločin (krajo različnih izdelkov v vrednosti 70 evrov), le da je bila njegova kartoteka precej bolj polna; med drugim je zaradi oboroženega ropa odslužil pet let zaporne kazni. Računalniški program, ki je računal, ali bosta osumljenca ponovila zločin, je ugotovil, da je to bolj verjetno pri 18-letnici.

Larson je opozoril, da algoritmi na tem področju pravilno napovedo le enega od petih primerov, poleg tega pa »vnaprej obsodijo ljudi, vendar ne utemeljijo svoje odločitve, kar je do osumljencev nepošteno«.

Kriminalci in gorile

Pristranske algoritme v sodnem sistemu je treba obravnavati v širšem kontekstu. Pred tremi leti je neki uporabnik twitterja objavil, da je v google vpisal geslo »three black teenagers« (trije črni najstniki), nakar mu je ta najpriljubljenejši in najbolj razširjeni spletni brskalnik postregel predvsem s slikami mladih temnopoltih kriminalcev. Ko je besedo »črno« zamenjal za »belo«, je večina slik prikazovala povsem običajne najstnike – nasmejane, po možnosti s šolsko torbo na hrbtu.

»Na zanj tipičen način je Google te rezultate iskanja opisal kot anomalijo, ki je zunaj njegovega nadzora. Vprašala sem jih, kdo je odgovoren za vaš algoritem, če ne vi sami,« se je v zapisu za revijo Time dogajanja spominjala Safiya Noble, profesorica na losangeleški univerzi UCLA in avtorica znanstvene monografije Algoritmi zatiranja. Google je »anomalijo« nato »odpravil« tako, da je iz naftalina potegnil slike, na katerih policisti aretirajo mlade belce, in kolaže slik »običajnih« temnopoltih najstnikov. Ko sem to geslo v Google vpisal prejšnji teden, se je vse slikovno gradivo nanašalo na pravkar opisani primer.

Tehnološki gigant iz Palo Alta se je še bolj osramotil, ko so njegovi algoritmi za prepoznavo obraza v storitvi google photos v temnopoltih moških prepoznali gorile in šimpanze. Vodilni možje podjetja so se takoj posuli s pepelom in obljubili, da bodo odpravili nepravilnost. Nato je Wired razkril, da Google nepravilnosti ni odpravil, temveč jih je zgolj prikril. Novinarji te tehnološke revije so naredili več testov in na google photos naložili na desettisoče slik različnih primatov. Medtem ko so algoritmi pravilno prepoznali pavijane, gibone in marmozetke, šimpanzov in goril niso zaznali. Google jih je preprosto blokiral.

Od pornozvezd do »čudovitih punc«

Safiya Noble se je za pristranskost algoritmov začela zanimati pred desetimi leti, ko ji je prijateljica rekla, naj pogugla »black girls« (črne punce). Večina povezav med iskalnimi zadetki je vodila do strani, tako ali drugače povezanih s pornografijo in erotiko. A četudi je bila krivda za opisano situacijo brez kančka dvoma tudi na strani Googla, ne gre zanemariti dejstva, da se te strani ne bi prikazovale, če jih ljudje ne bi iskali in klikali nanje. Mimogrede: danes se prvi zadetek glasi »1000+ čudovitih slik črnih punc«.

Kaj nam vsi našteti primeri sporočajo? Algoritmi se ne napišejo sami od sebe, za njimi vselej nekdo stoji. Kljub temu ni dokazov, pa tudi sicer bi bilo zmotno delati hitre zaključke, da so plod zarot in zlobnih namenov. Če smo se pred desetletjem zgražali nad Googlovim seksizmom, pred tremi leti nad najstniškimi kriminalci, letos pa je, sodeč po pisanju tehnoloških revij, vroča tema slabše prepoznavanje obrazov – potem smo morda na pravi poti.