Kako delo Nobelovih nagrajencev spreminja znanost

Nobelovo nagrado za fiziko sta letos dobila John J. Hopfield z Univerze Princeton in Geoffrey E. Hinton z Univerze v Torontu za »temeljno odkritje in dognanja, ki omogočajo strojno učenje s pomočjo umetnih nevronskih mrež«. Za kemijo pa so si nagrado razdelili trije. Polovico nagrade je dobil David Baker z Washingtonske univerze v v Seattlu za »računalniško načrtovanje proteinov«, drugo polovico pa sta si razdelila Demis Hassabis in John M. Jumper iz podjetja Google DeepMind v Londonu za »napovedovanje strukture proteinov«. Zakaj obe nagradi omenjam skupaj?

Nagrajena dela so že nekaj let v središču zanimanja tako naravoslovcev kot raziskovalcev iz družboslovnih in humanističnih ved. Širše gledano je to umetna inteligenca (UI), ožje področje pa njeno najpomembnejše računalniško orodje: umetne nevronske mreže (UNM). Hopfielda in Hintona je Nobelov odbor nagradil za njune zasluge pri pionirskem teoretičnem delu in kasneje dolgoletnem razvoju metodologije na obeh področjih. Trem kemikom so nagrado podelili za izsledke pri praktični uporabi teh orodij, in sicer za raziskave odvisnosti med sekundarno oziroma terciarno strukturo proteinov in sekvenco aminokislin, ki te proteine sestavljajo.

Nagrada Hopfieldu je priznanje za njegovo delo, objavljeno že leta 1982, Nevronske mreže in fizični sistemi z nastajajočimi kolektivnimi računalniškimi sposobnostmi, s katerim je tako rekoč sam z eno potezo iz pozabe med »zimo umetne inteligence«, ki je trajala petnajst let, iztrgal oziroma dvignil umetne nevronske mreže. UI se je v »zimi« znašla zaradi knjige Perceptrons, ki sta jo leta 1969 objavila Marvin Minsky in Seymour Papert, v njej sta umetne nevronske mreže, sestavljene iz perceptronov, ožigosala kot neperspektivne in celo teoretično mrtve. Še petnajst let po objavi knjige velika večina pomembnejših raziskovalcev s področja UI ni hotela niti slišati o nevronskih mrežah in je te raziskave v glavnem odklanjala. Ker je bil prof. Hopfield že v 80. letih v ZDA priznana znanstvena avtoriteta in ugleden raziskovalec, je bila njegova objava na področju, ki je bilo tako rekoč izobčeno, prava senzacija.

John Hopfield FOTO: Denise Applewhite/Reuters  

Objavljeni rezultati in posledično zanimanje za te raziskave so sovražno razpoloženje do nevronskih mrež hitro raztopili. S spremembo odziva posameznega nevrona iz linearnosti v nelinearnost je Hopfield pokazal, da nevronske mreže lahko rešujejo tudi kompleksne probleme, in s tem vzbudil ponovno zanimanje za njihovo uporabo. Po objavi tega dela se je razvoj nadaljeval zelo hitro, čeprav je bilo kasneje na njegovi poti še kar nekaj zastojev, dvomov in omahovanj. Letošnja Nobelova nagrada gre torej v roke človeku, ki je že leta 1982 pokazal, da nevronske mreže, torej sistemi, sestavljeni iz velikega števila enakih računalniških elementov, preprostih umetnih nevronov, zloženih v dve do tri plasti, ob primerni topologiji sestavnih delov oziroma povezav med posameznimi nevroni lahko rešujejo ne samo enostavne, ampak tudi zelo zapletene, nelinearne probleme.

Kljub Hopfieldovemu uspehu pa so se še vedno pojavljali dvomi o realni sposobnosti nevronskih mrež. Pri teh vzponih in padcih je bil ves čas prisoten tudi drugi nagrajenec za fiziko, britansko-kanadski raziskovalec Geoffrey E. Hinton. Od začetka kariere je sodeloval pri razvoju prvih nevronskih mrež z vzvratnim širjenjem napake (error-back-propagation networks) ter spoznaval dobre in slabe strani te osnovne metode, ki je dajala odlične rezultate za primere z razmeroma majhnim številom objektov, pri večjih študijah pa je navadno odpovedala. S sodelavci je potreboval več desetletij izkušenj in raziskav, da je, tudi zaradi novih in močnejših računalnikov in povezav z množicami podatkov, ki so postale dostopne na internetu, izboljšal računalniško učenje. Skupaj z Yoshuo Bengiom in Yannom LeCunom je Hinton za razvoj globokega učenja, ki je danes v središču raziskav z nevronskimi mrežami, leta 2018 dobil Turingovo nagrado. Nagrada, imenovana po Alanu Turingu, ki je med drugo svetovno vojno razrešil komunikacijo nemške šifrirne naprave Enigma, je v računalništvu enakovredna Nobelovi nagradi. Zaradi njegovih dosežkov Hintona kolegi in mediji pogosto imenujejo boter umetne inteligence.

Globoke nevronske mreže imajo v primerjavi z navadnimi mrežami, ki združujejo relativno majhno število nevronov v največ treh plasteh, veliko več nevronov, ki so hkrati porazdeljeni v večje število plasti, kjer, spet drugače kot pri standardnih nevronskih mrežah, delujejo v posameznih plasteh različno. Pri istem postopku se nevroni v eni plasti lahko učijo s primerjanjem z znanimi informacijami (nadzorovano učenje) ali pa se učijo samostojno, ab initio, brez znanih primerov (nenadzorovano učenje).

Geoffrey Hinton FOTO: Lisa Lightbourn/Reuters  

Geoffrey Hinton je danes znan kot glasen kritik nereguliranih raziskav nevronskih mrež. Po dolgoletnem sodelovanju z Googlom se je lani odločil, da po ostri kritiki programa chatgpt ne bo več sodeloval s to korporacijo. Kot meni, so brez močnega nadzora na področju raziskav umetnih nevronskih mrež rezultati lahko etično sporni in nevarni za nadaljnji razvoj demokratične družbe.

Od rosette do alphafolda 2

Že na prelomu stoletja je skupina Davida Bakerja naredila računalniški program rosetta, ki je iz poljubne sekvence aminokislin znal predvidevati oziroma izračunati, kakšna naj bi bila tridimenzionalna struktura proteina s to sekvenco. V proteinih je največ 20 aminokislin, ki se v najrazličnejših zaporedjih razvrščajo v 50 do približno 1500 aminokislin dolge verige (sekvence). Zaporedje aminokislin, ki je pomembnejše od razmerja posameznih aminokislin v proteinu, določa poleg sekundarne (2-d) tudi terciarno (3-d) strukturo in s tem vse njegove lastnosti. Kmalu po prvih uspešnih standardnih poskusih so program rosetta uporabili s popolnoma nasprotnim namenom od tistega, za kar je bil zgrajen. Namesto da bi iskali odgovor na vprašanje, kakšno 3-d strukturo bo imela izbrana sekvenca aminokislin, so program uporabili za odgovor na vprašanje, kakšna sekvenca aminokislin se bo zložila v predpostavljeno strukturo z načrtovanimi farmakološkimi oziroma biološkimi lastnostmi. Leta 2003 so prvič dobili primerno sekvenco in uspelo jim je sintetizirati povsem nov protein z vnaprej določeno strukturo in lastnostmi. Od prve uspešne sinteze do prejetja Nobelove nagrade je minilo 21 let.

David Baker FOTO: Ian C. Haydon/Reuters  

Napovedovalne zmogljivosti nevronskih mrež za sestavo proteina iz njegovih zamišljenih prostorskih struktur so bile pred razvojem globokega učenja in uporabo orjaških nizov podatkov skoraj neuporabne. Dajale so le rezultate za kratke nize aminokislin, ki so bili zanesljivi do največ 45 odstotkov. Kljub temu je Nobelov odbor poudaril, da se je ideja, da rosetto uporabijo v obratnem vrstnem redu, da torej namesto zaporedja aminokislin vnesejo želeno strukturo proteinov in pridobijo predloge za aminokislinska zaporedja, izkazala za najpomembnejši preobrat pri načinu računalniškega načrtovanja zdravil in drugih koristnih snovi. Čeprav je bila Nobelova nagrada Davidu Bakerju podeljena za intelektualni preboj izpred 21 let, se je delo s tem programom v vmesnem času izkazalo za zelo uporabno na veliko področjih, od medicine do farmacije in celo v mineralogiji.

Eksperimentalno določanje strukture vsakega posameznega proteina je dolgotrajno in drago, zato je bilo iskanje matematičnega oziroma računalniškega postopka za določitev strukture eden pomembnejših ciljev vseh raziskovalcev na tem področju. Na prvi pogled se iz kratkega opisa Nobelove nagrade pravzaprav ne vidi dejanski pomen dela Demisa Hassabisa in Johna M. Jumperja. Morda se celo zdi, da gre za podobne raziskave kot pri drugih nagrajencih, saj vsi uporabljajo rezultate učenja z umetnimi nevronskimi mrežami, sicer z različnimi arhitekturami, pa vendar s podobnimi načini učenja.

Dosežek, po katerem se Hassabisovo in Jumperjevo delo razlikuje od del drugih raziskovalcev na tem področju, je izjemno visoka napovedovalna zmogljivost struktur proteinov njunega modela alphafold 2. Njun popolnoma specializirani kompleksni model, katerega osrednji del je nevronska mreža, daje do zdaj nedosegljivo zanesljive napovedi 3-d struktur za praktično vse do danes znane proteine, ki jih poznamo že nekaj več kot sto milijonov.

V celoti gledano model alphafold 2 napoveduje strukture proteinov s 93-odstotno zanesljivostjo. Pri tem je 80 odstotkov napovedi popolnoma zanesljivih in kažejo skoraj popolno ujemanje z izmerjenimi lastnostmi. Le sedem odstotkov predlaganih struktur se ne ujema z eksperimentalnimi rezultati. Tako visoka napovedovalna zmogljivost računalniškega sistema je uspeh brez primere pri računalniškem določanju struktur proteinov, posebej ker gre za ogromno število preverb na realnih primerih. Osnovni podatek, ki ga alphafold 2 potrebuje, je le primarna struktura, to je zaporedje aminokislin, ki sestavljajo preiskovani protein, in to je mogoče dobiti na razmeroma preprost in poceni način. Od leta 2020, ko je bil program alphafold 2 narejen in izročen celotni svetovni raziskovalni sferi, ga je uporabilo več kot dva milijona raziskovalcev iz 190 držav!

Demis Hassabis in John M. Jumper FOTO: Toby Melville/Reuters

In kakšno je stanje na tem področju pri nas? Raziskave nevronskih mrež izvajamo na Kemijskem inštitutu že od zgodnjih 90. let. Prvi znanstveni članek slovenskega avtorja o nevronskih mrežah s področja kemije je bil objavljen leta 1991. Dve leti kasneje, 1993, torej pred več kot tridesetimi leti, pa je v Nemčiji pri založbi VCH izšla moja knjiga v soavtorstvu z Johannom Gasteigerjem Neural Networks for Chemists, ki je po navedbah založnika postala znanstvena uspešnica meseca. Zanimivo v tej knjigi je dejstvo, da je bilo v njej s podrobnostmi opisano Hopfieldovo delo, ki je bilo letos nagrajeno z Nobelovo nagrado za fiziko. Opisana in s primerom razložena je prva Hopfieldova nevronska mreža. Natančno je opisana tudi uporaba, kako lahko taka mreža regenerira in ustvari (najde) pravilno sliko predmeta, če je ta podana v poškodovani, pomanjkljivi ali kako drugače popačeni obliki. Primer, opisan v knjigi, je sicer manjših dimenzij kot originalno Hopfieldovo delo, vendar omogoča celotno reprodukcijo Hopfieldove mreže iz originalnega članka. Druga stvar, ki se nam v tej knjigi zdi pomembna, je izbor aplikacij umetnih nevronskih mrež. Med enajstimi možnimi načini uporabe, ki smo jih v večini načrtali in preizkusili sami, nekaj pa izbrali iz takrat še ne prav obsežne literature, je tudi poglavje o določanju sekundarne strukture proteinov iz njihove primarne sekvence aminokislin. To področje se nam je že takrat zdelo tako pomembno, da smo ga med primeri posebej navedli in podrobneje obdelali. Ker je bila omenjena knjiga zelo uspešna, je založba VCH, ki je medtem postala del založbe Wiley, šest let kasneje natisnila še drugo izdajo z malo spremenjenim naslovom, Neural Networks in Chemistry and Drug Design, v kateri smo podali še nekaj več možnih uporab umetnih nevronskih mrež v kemiji in biologiji. Knjiga je bila leta 1993 prevedena v japonščino, leta 2000 pa še v kitajščino.

–––

Prof. dr. Jure Zupan, zaslužni raziskovalec na Kemijskem inštitutu, je pionir slovenske kemometrije in uporabe umetne inteligence v kemiji.