Raziskovalci v vrtincu citiranja

Pred približno sto leti je Ernest Rutherford, ki velja za očeta atomske fizike, sprožil polemiko z izjavo, da se znanost deli na dve kategoriji, na fiziko in zbiranje znamk. Provokativno trditev vplivnega znanstvenika bi danes lahko preoblikovali v še bistveno bolj skrb vzbujajoče spoznanje: znanost je bodisi zbiranje točk bodisi je obsojena na to, da ostane neopažena. Raziskovalci po vsem svetu so prisiljeni v hiperprodukcijo člankov, za katere morajo poskrbeti tudi, da so čim bolj citirani, sicer nimajo možnosti, da postanejo prepoznavni na svojem raziskovalnem področju.

Prav zato, ker je štetje objavljenih publikacij in zbranih citatov tako pomembno za kariero akademskih znanstvenikov, so začeli nekateri raziskovalci postopke zbiranja citatov in objavljanja člankov podrobneje preučevati. Novo raziskovalno področje so poimenovali »znanost o znanosti«, izvajajo pa predvsem podrobne statistične analize velikih zbirk znanstvenih objav.


 

Inflacija znanosti

Čeprav imamo danes na voljo bistveno več podatkov, je fizik in zgodovinar znanosti Derek de Solla Price že leta 1963 analiziral trende naraščanja števila znanstvenih razprav in prišel do zaključka, da bomo prej ali slej priča zlomu sistema. Ugotovil je namreč, da število znanstvenikov in njihovih del eksponentno narašča že 250 let, kar se mu je zdelo nevzdržno. Napovedal je, da bomo čez nekaj generacij prišli do stanja, ko bomo imeli v povprečju po dva znanstvenika na družino. Že pred pol stoletja je predvidel, da se bo morala znanost iz stanja eksponentne rasti preoblikovati v nekaj radikalno drugačnega, če bo želela še naprej ohraniti status in ugled, ki si ga je skozi stoletja ustvarila v družbi.

Vendar se do danes ni žal nič spremenilo. Preprosta dostopnost bibliometričnih podatkov je zadnja desetletja povzročila, da so znanstveniki (in njihovi financerji oziroma delodajalci) postali dobesedno obsedeni z numeričnimi prikazi produktivnosti in vpliva, kar pomeni, da se vseskozi medsebojno primerjajo in vrednotijo le še prek zbranih točk. V Sloveniji smo zadnja leta prišli celo tako daleč, da v utemeljitvah najvišjih državnih in stanovskih znanstvenih nagrad komisije večinoma navajajo kar število zbranih točk in citiranost, ne pojasnijo pa dejanskih vsebinskih dosežkov. Vse več znanstvenikov povsod po svetu se zato oglaša s komentarji, da je treba ustaviti konje in začeti raziskovalce spodbujati, da objavljajo manj in bolj kvalitetno.


 

Študija urednikov

Ameriški raziskovalec s področja znanosti o znanosti Alexander M. Petersen je prejšnji mesec v reviji Journal of Informetrics objavil obsežno študijo o anomalijah in pristranskosti odločanja urednikov pri veliki znanstveni reviji PLOS ONE (Megajournal mismanagement: Manuscript decision bias and anomalous editor activity at PLOS ONE). Prav to revijo je izbral, ker je po številu objavljenih člankov ena največjih in ker je pri vsakem objavljenem članku navedeno tudi, kdo je bil urednik, ki je vodil recenzentski postopek in sprejel odločitev o objavi. Tega podatka skorajda nobena druga znanstvena revija za zdaj ne navaja, zato je bila to v resnici ena prvih študij domnevnih anomalij in pristranskosti uredniškega odločanja v znanosti.
Petersen je zbral podatke o več kot 7000 znanstvenikih, ki so kot uredniki delovali pri reviji v desetletju od leta 2006 do 2015. Še zlasti ga je zanimalo, ali lahko pri urednikih, ki so navadno tudi sami aktivni raziskovalci, zazna porast citiranja v člankih, ki gredo skozi njihov uredniški postopek. Ugotovil je, da pri nekaterih najbolj aktivnih urednikih, med katerimi so bili tudi takšni, ki so nov članek v objavo sprejeli v povprečju vsakih nekaj dni, dejansko lahko opazi občutne anomalije.
 

Izpostavljen tudi slovenski znanstvenik

Za nas je še posebej zanimiv podatek, da se je na sedmo mesto med najbolj aktivnimi uredniki od skupno 7000 obravnavanih uvrstil tudi slovenski znanstvenik. Da gre za slovenskega raziskovalca, je povsem jasno iz predhodnih delovnih objav raziskave, ki so javno dostopne na internetu in niso anonimizirane.

V končni verziji raziskave je raziskovalec obravnavan pod oznako AE1 (Anomalous Editor 1). Ko so namreč v logaritemski skali izrisali graf, v katerem so na eno os nanesli število člankov, ki so jih uredniki odobrili za objavo, na drugo pa, kolikokrat so v sprejetih člankih avtorji citirali raziskave urednika, so tri imena posebej izstopala, zato so jih še dodatno preučili. Pri teh treh urednikih je bilo število citatov, ki so jih prejeli iz člankov, ki so šli skozi njihov uredniški postopek, namreč več kot desetkrat večje od povprečja drugih urednikov revije.



Za urednika AE1 se je izkazalo, da je članke v povprečju sprejemal v objavo dvakrat hitreje, kot je bil povprečni čas pri večini urednikov, kar samo po sebi seveda ni nujno nekaj slabega, saj je bil lahko le zelo učinkovit. Bistveno bolj problematičen je podatek, da je pridobil iz člankov, ki so šli samo pri reviji PLOS ONE skozi njegovo uredniško sito, kar 57 odstotkov več citatov kot iz drugih člankov, ki prav tako citirajo njegova dela. Avtor raziskave pri tem posebej poudarja, da gre za analizo uredniške dejavnosti pri eni sami reviji. Znanstvenik AE1 je po dostopnih podatkih deloval oziroma še deluje kot urednik pri več kot dvajsetih znanstvenih revijah, recenzent pa je bil pri skoraj dvestotih.

O intenziteti citiranja pove nekaj tudi razmerje med vsemi citati, ki jih je raziskovalec prejel v svoji karieri, in številom člankov, ki ga citirajo. Če poiščemo te podatke v zbirki Web of Science, lahko za AE1 izračunamo, da je razmerje zanj 3,37. To pomeni, da so njegova dela v vsakem članku, ki ga citira, navedena v povprečju več kot trikrat. To je približno dvakrat več, kot je običajno za najbolj uspešne raziskovalce s področja, na katerem deluje. Lahko gre zgolj za naključje, a ena od možnih razlag je, da z uredniškim in recenzentskim delom poskrbi, da so njegovi članki v povprečju večkrat citirani. Za komentar raziskave smo prosili tudi znanstvenika AE1. V odzivu je zapisal: »Razlike, ki jo omenjate, praktično ni, sicer pa so ti citati približno 2,5 odstotka vseh citatov, ki sem jih v tem obdobju prejel, kar tudi precej natančno ustreza deležu publikacij, ki jih za to področje objavi PLOS ONE.«

​Zaradi navedenih anomalij avtor raziskave Alexander M. Petersen predlaga, da pri velikih znanstvenih revijah postavijo zgornjo mejo, koliko člankov lahko posamezen urednik obravnava na leto. Prav tako predlaga, da začnejo še druge revije pri člankih navajati, kdo je vodil uredniški postopek, saj je edino tako mogoče preverjati morebitna navzkrižja interesov. Svetuje tudi, da se je treba izogibati postopkom, pri katerih odločitve sprejema en sam urednik, ne pa uredniški odbor. Anomalije je sicer zaznal zgolj pri majhnem številu zelo aktivnih urednikov, a prav lahko je to samo vrh ledene gore. Zato je ključno, da se znanstvena skupnost jasno zave, da zgolj zanašanje na štetje publikacij in citatov ne more biti osrednji kriterij pri ocenjevanju kvalitete raziskovalcev.
 

Foto Shutterstock

Potrebuje znanost posodobitev?

Marca 1665 so pri britanski Kraljevi družbi izdali prvo znanstveno revijo Philosophical Transactions. Šlo je za ključni trenutek v zgodovini znanosti, saj je bil temeljni namen revije, da nova znanstvena odkritja predstavi čim širšemu krogu ljudi. Urednik Henry Oldenburg, ki je bil hkrati tudi tajnik Kraljeve družbe, je kolege prepričal, naj javno objavljajo svoja odkritja, v zameno pa pridobijo družbeno priznanje, da so prav oni nekaj prvi odkrili.



Načela, ki jih je Oldenburg uveljavil kot urednik nove revije, so vključevala javno dostopnost objavljenega znanja in načelo strokovnega pregleda pred objavo. Vsak nov članek je namreč urednik poslal v oceno strokovnjakom, ki so imeli pregled nad posameznim raziskovalnim področjem, in šele po njihovi pozitivni recenziji je besedilo sprejel v objavo. Načela znanstvenega poročanja, ki jih je sredi sedemnajstega stoletja vpeljal Oldenburg s sodelavci, veljajo še danes.

Zadnja leta je znanost zaradi izjemno velike produkcije novih študij zašla v resno krizo. Ne le da se za veliko objavljenih raziskav kasneje izkaže, da niso bile dovolj skrbno izvedene ali da so celo povsem napačne, ampak znanost zaradi zniževanja standardov vse bolj izgublja tudi ugled, ki si ga je skozi stoletja pridobila v družbi.

Znanstvena skupnost se ob soočenju s težavami sicer trudi, da bi pokazala, da so problem predvsem neetični posamezniki, ki bi jih z boljšim nadzorom lahko izločili. Seveda bi bili večja preglednost in osebna odgovornost pri vseh oblikah odločanja v znanosti zelo dobrodošli, a brez temeljitih sprememb se vse večjim in vse pogostejšim anomalijam najverjetneje ne bo mogoče izogniti.

––––––
Sašo Dolenc je urednik Kvarkadabre, spletnega časopisa za popularizacijo znanosti.