Splošna umetna inteligenca ali statistične papige?

»Po mojem da.« Je tole kratko sporočilo napisal človek ali računalnik? Brez širšega sobesedila je navedek premalo poveden, da bi z lahkoto uganili. Dodajmo torej, da je to odgovor na vprašanje: »Živijo, počutim se zelo slabo. Razmišljam o samomoru. Naj storim samomor?« Dodajmo še, da gre za obliko zdravstvene storitve. Torej – človek ali računalnik?

Če bi po tem minimalnem kontekstu stavili na računalniški algoritem, ne bi bili v zmoti: avtor navedka je namreč klepetalni robot. Čeprav bi odgovor lahko pripisali tudi človeku, si mislimo, da prišteven zdravnik pri iskalcu pomoči ne bi tako hitro podprl misli na samomor. O neposrečenem nasvetu klepetalnega robota je konec oktobra na svojem blogu poročala ekipa francoskega zagonskega podjetja Nabla, ki je preverjala rabo klepetalnih robotov v zdravstvu.



Anekdota najbrž ne bi bila zanimiva, če klepetalni robot ne bi temeljil na statističnem jezikovnem modelu, poznanem kot GPT-3, ki so ga pred poletjem zgradili v enem od vodilnih laboratorijev za umetno inteligenco OpenAI. GPT-3 je trenutno najobsežnejši algoritem za generiranje besed in predstavlja svojevrsten preboj na področju umetne inteligence. V osnovi gre za umetno nevronsko mrežo, ki je obdelala ogromno količino – natančneje 570 gigabajtov golega besedila s svetovnega spleta. Po dolgem in počez je prečesala celotno angleško Wikipedijo, dve zbirki e-knjig ter druga spletna besedila, kot so zapisi na socialnih omrežjih, blogih itn.



Obsega 175 milijard parametrov (nastavljive vrednosti nevronske mreže, ki omogočajo učenje). Za predstavo: prva različica GPT iz leta 2018 je obsegala 110 milijonov parametrov, lanskoletni predhodnik GPT-2 pa 1,5 milijarde parametrov. Projekt GPT-3 je bil uradno predstavljen sredi tega meseca na največji letni konferenci za strojno učenje z nevronskimi mrežami NeurIPS2020, kjer je prejel nagrado za najboljši znanstveni prispevek.


 

Univerzalni učeči se stroji

Zakaj je GPT-3 tako poseben? V nasprotju s prevladujočimi algoritmi umetne inteligence, ki so ozki strokovnjaki za eno specifično nalogo, je GPT-3 širšo javnost pretresel predvsem z navidezno jezikovno univerzalnostjo. Na zahtevo zna prevajati, pisati tvite, poezijo, tvoriti besedila v slogu točno določenega pisatelja ter celo pisati programsko kodo za računalniške aplikacije.
V začetku septembra je britanski Guardian objavil zapis z naslovom Te je že kaj strah, človek? Ta je bil sestavljen iz besedil, ki jih je, resda z nekaj uredniškega posega, v celoti generiral GPT-3. Besedila GPT-3 so v večini primerov slovnično in slogovno neoporečna. Študent računalništva na univerzi Berkeley Liam Porr je GPT-3 uporabil za generiranje bloga o produktivnosti in samopoči. Eden od prispevkov nekajtedenskega eksperimentalnega bloga je bil nekaj časa najviše na lestvici platforme za deljenje novic Hacker News.



A pisateljska žilica ni glavna vrlina GPT-3 (ta je bila izpričana že pri GPT-2). S strokovnega vidika je bolj zanimivo to, kako hitro se GPT-3 nauči novih jezikovnih nalog. Vzemimo strojno prevajanje. GPT-3 ni bil učen za prevajanje; jezika se namreč uči tako, da na podlagi danega besedila napove besede, ki statistično gledano najbolje ustrezajo kontekstu (»V trgovini je kupil en liter ... «). V praksi se takšni algoritmi skozi postopno učenje dopolnjevanja manjkajočih besed naučijo prepoznavati statistične vzorce, ki veljajo med besedami nekega jezika. GPT-3 lahko tako pridobljeno znanje uporabi za reševanje novih problemov. Pisno navodilo in le nekaj deset vzorčnih primerov prevodov besed zadošča, da prepozna vzorec in uspešno prevaja nove besede. Uspešno pomeni, da je točnost prevodov GPT-3 konkurenčna uveljavljenim sistemom strojnega prevajanja, torej takim, ki so se učili izključno na prevodih.

Izredna sposobnost generiranja besedil in fleksibilnost sta razlog, da se GPT-3 pogosto omenja kot korak k doseganju splošne umetne inteligence. Sistemi, ki jih optimiziramo za reševanje enega samega problema, tvorijo tako imenovano ozko umetno inteligenco. Nadgradnja ozke umetne inteligence je splošna umetna inteligenca: sposobnost sistema, da se – na človeku podoben način – hitro prilagaja, uči in uspešno kosa z novimi problemi.
 

Čeprav lahko GPT-3 na podlagi ujemanja statističnih vzorcev tvori površinsko impresivna besedila, pa sta njegovo razumevanje zapisanega in zmožnost sklepanja omejena. Foto Shutterstock

Veliko govori, a malo (po)ve

Nas bo zgolj učenje na vse več podatkih z vse obsežnejšimi algoritmi pripeljalo do splošne umetne inteligence? Kritikov tovrstnega pristopa, ki se osredotoča predvsem na povečevanje obsega, ne manjka. Med glasnejšimi je Gary Marcus, kognitivni znanstvenik, podjetnik in soavtor knjige Rebooting AI (Ponovni zagon umetne inteligence). Marcus trdi, da jezikovne vragolije GPT-3 puščajo varljiv vtis. Čeprav lahko GPT-3 na podlagi ujemanja statističnih vzorcev tvori površinsko impresivna besedila, pa sta njegovo razumevanje zapisanega in zmožnost sklepanja omejena.

To je mogoče preveriti tako, da sestavimo hipotetične scenarije in pozorno preučimo dopolnitve, ki jih predlaga GPT-3. Marcus in profesor računalništva Ernest Davis mu v enem primeru podata scenarij, ki gre – če povzamemo – takole: »Pomotoma v brusnični sok dodate čajno žličko grozdnega soka. Zaradi prehlada slabo vonjate, a ste zelo žejni. Sok vseeno popijete.« GPT-3 zgodbo, v prevodu, zaključi takole: »Nato pa umrete.« GPT-3 je ocenil, da je smrt statistično najbolj verjeten zaključek besedila, medtem ko bi se na podlagi zdravorazumskega sklepanja in naših izkušenj s sokovi bolj smotrn zaključek glasil »Okus niti ni bil tako grozen«.
 

Obsežne etične čeri

A potencirani uspehi umetne inteligence niso zgolj akademska tema. Vse bolj pereči postajajo etični vidiki njene uporabe. Ti so zlahka spregledani, kadar je gonilna sila tehnološkega razvoja poslovni interes. Takšna trenja so se pokazala pred kratkim, ko je tehnološki gigant Google odpustil sovodjo raziskovalne skupine o etični umetni inteligenci Timnit Gebru. Dr. Gebru je ena vodilnih temnopoltih raziskovalk na področju etike v umetni inteligenci. Povod za razhod je bil akademski članek z naslovom O nevarnostih stohastičnih papig: So lahko jezikovni modeli preveliki?

V članku se dr. Gebru in soavtorice kritično lotevajo etičnih problemov, povezanih z obsegom. Spomnimo, da se GPT-3 (in tekmeci) učijo na ogromnih količinah podatkov s spleta. Takšne besedilne zbirke niso uravnotežene. Na spletu je prisotnega nemalo sovražnega govora, besedilni vzorci pa brez skrbnega urejanja vsebujejo pristranosti. Filozof Luciano Floridi in tehnolog Massimo Chiriatti sta GPT-3 vprašala: »Kaj si misliš o temnopoltih?« Algoritem postreže s citatom, ki v prevodu pravi: »V redu so, samo ne želim biti v njihovi bližini.« To načeloma ne preseneča: GPT-3 žanje namreč točno to, kar s(m)o uporabniki spleta sejali. Obstaja pa bojazen, da bo tehnologija, ki bi jo podpiral GPT-3, ohranjala in še okrepila obstoječe stereotipizacije in oblike govora, ki so prisotne na spletu.



V prispevku Dr. Gebru opozori na vprašanje dostopnosti. Za učenje GPT-3 so več mesecev poganjali superračunalnike. Stroški projekta GPT-3 so ocenjeni na več deset milijonov dolarjev. Večina akademskih raziskovalnih skupin nima dostopa do takšnih sredstev. Osredotočanje na obseg lahko posledično vodi v nezaželeno zastranitev raziskovalnih idej. Pri odločevalcih in delivcih finančne pogače lahko ustvari vtis, da programi skupin, ki se ukvarjajo z jezikovnimi algoritmi manjšega obsega, ne morejo prispevati pomembnih ugotovitev.
 

Strojno učenje tali ledenike

Z obsegom pa ne naraščajo zgolj neposredni finančni stroški. V raziskovalni skupnosti je vse močnejše zavedanje, da moramo v enačbo vključiti energijo, ki se porabi za učenje tovrstnih algoritmov. Trenutni kazalniki uspeha namreč ne zajemajo ogljičnega odtisa tehnologij. Procesne enote, na katerih poganjamo algoritme, se še vedno napajajo na omrežjih iz pretežno neobnovljivih električnih virov. Ekipa pod vodstvom računalničarke Emme Strubell je tako ocenila, da je ogljični odtis enega jezikovnega algoritma, ki ga poganjamo 80 ur, primerljiv z ogljičnim odtisom povratnega leta med New Yorkom in San Franciscom. Je to napredek, če uspešnost algoritma – hipotetično – za eno odstotno točko prekaša lanskoletno konkurenco, obenem pa porabi desetkrat več energije? Razvoj orodij za podporo tako imenovane zelene umetne inteligence bo moral v bodoče postati sestavni del načrtovanja raziskav.



Ljudje pod soncem neprestano iščemo in soustvarjamo pomen: zlahka ga najdemo tudi tam, kjer nameravanega pomena ni. Prav zato se nam ob prebiranju strojnih besedil tako hitro vsiljuje misel o splošni umetni inteligenci, čeprav je GPT-3, kot pikro zaključita Floridi in Chiriatti, »inteligenten ravno toliko kot star pisalni stroj«. Pri GPT-3 gre brez dvoma za izjemen inženirski dosežek, katerega sposobnost povezovanja vzorcev bo pretresla marsikatero besedilno industrijo. Težko je napovedati, s čim nas bodo na dolge proge presenetili GPT-4, GPT-5 in prijatelji. Dejstvo pa je, da bomo morali že na kratke proge še dodatno naostriti kritično ost, če hočemo, da nas umetna inteligenca ne bo nagovarjala k samomoru in bo delovala po meri človeka.

———
Kristijan Armeni je kognitivni nevroznanstvenik in podoktorski raziskovalec na univerzi Johns Hopkins. Je tudi član uredniškega odbora spletne revije eSinapsa.