Kakovost podatkov in poštena interpretacija

Zadnje Eurobarometrove raziskave ne omogočajo več zanesljivih primerjav med državami EU. V nekaterih državah pa tudi ne omogočajo primerjave v času (longitudinalno). Med temi državami je tudi Slovenija. To je še posebno nerodno, ker v drugi polovici leta 2021 Slovenija predseduje svetu EU.

Problem neprimerljivosti Eurobarometrov podatkov se je povečal, ko je zunanji izvajalec raziskav, Kantar, začel zaradi covida-19 v letih 2020 in 2021 izvajati Eurobarometrove raziskave na tri načine, osebno (standardno), po spletu in kombinacijo obojega. Pri tem se je spremenil način zastavljanja medčasovno primerljivih vprašanj.

V Sloveniji so v zadnjem letu izvedli tri Eurobarometrove raziskave, vsako na svoj način: osebno julij–avgust 2020 (SB93), spletno februar–marec 2021 (SB94) in kombinacijo obeh spomladi 2021 (Eurobarometer 95.1). Slednja je bila v Delu predstavljena 3. junija 2021, prejšnja pa v Delu 4. maja 2021 pod naslovom V EU Slovenci najbolj nezadovoljni z demokracijo v državi.

V raziskavi SB94, februar–marec 2021, je pri odgovorih za Slovenijo, kjer je med običajno petimi možnimi odgovori tudi odgovor »ne vem«, ta kar nenadoma umanjkal (povsod je nič odstotkov). Podobno tudi v večini drugih držav, v katerih so opravljali spletno anketiranje. To je sicer mogoče zlahka spregledati. V Eurobarometrovih poročilih namreč samo pri odgovoru »ne vem«, ne prikazujejo razlik glede na prejšnjo meritev.

Zakaj nastajajo te razlike v primeru spletnega ali osebnega anketiranja? Kantar pojasnjuje, da so pri vprašanjih, kot so: kako ste zadovoljni z demokracijo ali ukrepi proti covidu-19 v vaši državi/v EU ali s svojim življenjem in podobno, ponujeni štirje možni odgovori: zelo zadovoljen, zadovoljen, nezadovoljen, popolnoma nezadovoljen. Odgovor »ne vem« pa obravnavajo kot »spontan odgovor«. To pomeni, da če v primeru osebnega intervjuja vprašani/-a začne mencati in oklevati – anketar/-ka potem obkroži »ne vem« ali »noče odgovoriti«. V primeru spletnega anketiranja pa te opcije respondent očitno ne zna ali ne more izbrati, zato je povsod navedeno nič odstotkov.

Tu postaneta razvidna dva metodološka problema: niti pri osebnem niti pri spletnem anketiranju odgovor »ne vem« metodološko gledano ni enakovreden prvim štirim možnostim, odgovori pa so kljub temu zabeleženi kot enakovredni; drugi problem je dejstvo, da na delež odgovorov »ne vem« vpliva način anketiranja. Zanimivo je tudi, da doslej v poročilih Eurobarometra ni bilo označeno, da je odgovor »ne vem« spontan, bilo pa je to označeno pri odgovoru »drugo« ali »nič«.



Koliko je to pomembno? Poglejmo primer. Julija oziroma avgusta 2020 (SB93) je v Sloveniji 13 odstotkov respondentov odgovorilo, da »ne vedo«, kakšna je situacija z njihovo osebno zaposlitvijo, za februar–marec 2021 (SB94) pa je rezultat že nič odstotkov. V Belgiji podobno: 14–0 odstotkov, v Nemčiji pa 20–17 odstotkov, na Češkem 23–1 odstotkov, Irskem 0–0 odstotkov, v Latviji 15–0 odstotkov, Litvi 25–0 odstotkov, Luksemburgu 0–0 odstotkov, na Finskem 0–0 odstotkov in tako dalje. Če bi ti rezultati bili zanesljivi, bi lahko trdili, da so vse države, kjer je rezultat nič odstotkov zelo uspešne v manjšanju negotovosti na trgu dela. A to ne drži. Gre za metodološko napako, ki je izrazito velika. Ne gre, na primer, za en ali dva odstotka, do katerih lahko pride zaradi zaokroževanja.

V smislu omenjenih metodoloških napak zadnjih dveh raziskav se zato lahko vprašamo, koliko drži ugotovitev iz SB 94 (februar–marec 2021), da so v EU Slovenci najbolj nezadovoljni z delovanjem demokracije v državi? Za Slovenijo je delež odgovorov na to vprašanje »ne vem« v SB93: en odstotek; v SB94: 0 odstotkov; v Eurobarometru 95.1: 0 odstotkov. Sodeč po tem bi lahko bila razlika zaradi metodološke napake za Slovenijo v višini 1.o.t. – ljudje pri tem vprašanju običajno niso zelo negotovi. Tako je tudi v drugih državah EU, najvišji rezultat pri »ne vem« je bil tri odstotke. Koliko bi torej metodološka napaka od en do največ tri odstotke vplivala na interpretacijo rezultatov o zadovoljstvu z demokracijo v Sloveniji?



V SB 93, julij–avgust 2020, je bil najvišji delež nezadovoljnih z demokracijo v Bolgariji (64 odstotkov), sledili sta Hrvaška in Romunija z 59 odstotki ter nato Slovenija z 58 odstotki. V tem primeru vidimo, da je že 1 o.t. pomembna pri interpretaciji, ali je Slovenija, na primer, med najslabšimi tremi ali ne. V SB 94, februar–marec 2021, pa je bil delež nezadovoljnih z demokracijo v Sloveniji s 75 odstotki toliko višji od predzadnje države – Grčije – s 67 odstotki, da zadnje mesto Slovenije ni vprašljivo kljub metodološkim zadržkom. A že spomladi 2021, v meritvi Eurobarometer 95.1, stvari niso več tako enoznačne. Slovenija si s 64 odstotki nezadovoljnih deli zadnjo mesto s Hrvaško, Grčija za njima pa ima odstotek manj nezadovoljnih. Tu lahko vidimo, kako pomembna je metodologija, saj lahko že metodološka napaka en odstotek postane napačen razlog, da v časopisih po državi in po svetu v poletijo naslovi: državljani Slovenije so spet najbolj nezadovoljni z demokracijo med vsemi državami EU.

Dodatno je to pomembno, ker tak pristop očitno povečuje polarizacijo odgovorov. Če odgovor »ne vem« ni možen (ali ljudje za to ne vedo), potem so pač prisiljeni izbrati eno od opcij, ki je na razpolago.

Slovenija je že začela predsedovati EU. Leto 2022 bo super volilno leto. Tu so še dokaj nestabilne politične razmere – ki pa so dejstvo marsikje v EU in svetu. Raziskave mnenj državljanov o politični situaciji na državni ravni in ravni EU in ocene ravnanja v zvezi z bojem proti covidu-19 so v tem času za Slovenijo pomembnejše kot ponavadi. Tu gre tudi za zaupanje državljanov v EU, v znanost in stroko, v medije, politične stranke, za mednarodni ugled Slovenije ter verodostojnost evropske komisije, evropskega parlamenta in Kantarja. Dvom o kakovosti Eurobarometrovih podatkov je zato trenutno nekaj, kar (skoraj) nikogar od vpletenih ne more veseliti.

Kantar pojasnjuje, da so imeli izbiro: ali tak pristop ali ne bi bilo podatkov in zadnje za evropsko komisijo ni bilo sprejemljivo. Vprašal je, kaj bi izbrala jaz. Odgovorila sem mu, da raje ne bi imela podatkov, kot pa tako zavajajoče podatke, ki ne samo zamegljujejo pogled na celotno situacijo, pač pa širijo dvom o vsem, kar so do zdaj objavili, in o vsem, kar bodo objavili v prihodnje. Recimo, če bi potrebovali operacijo in dobrega operaterja ne bi bilo na razpolago – bi raje počakali ali bi privolili, da vas operira nekdo, ki vam lažno zatrjuje, da to zna? (Razumemo lahko položaj izvajalca Kantar, ki živi od izvajanja raziskav ne glede na to, ali so okoliščine primerne ali ne.)

​Pa vendar bi lahko naredili več za transparentnost in verodostojnost podatkov. Ni dovolj, da napišejo, da so način raziskovanja spremenili. Podatke bi morali prikazati z jasno razmejitvijo časovnih vrst glede na en ali drugi pristop, prav tako države primerjati samo, če so uporabljale isti način anketiranja skozi čas. Podatki, tudi za nazaj, še vedno držijo za Bolgarijo, Nemčijo, Španijo, Francijo, Hrvaško, Italijo, Ciper, Madžarsko, Avstrijo, Poljsko in Romunijo. Tu se lahko vprašamo, kako so lahko osebno izvedli intervjuje v največjih članicah EU, ni pa to bilo možno v najmanjših članicah – ne glede na razlike v strogosti ukrepov zaradi covida-19?

Tudi politika EU bo sčasoma spoznala, da se vse začne in konča pri kakovosti podatkov ter pošteni interpretaciji – in da bi morali biti previdni pri interpretaciji rezultatov zadnjih treh Eurobarometrovih raziskav, češ da jim državljani EU vse bolj zaupajo in si želijo povečanja njihovih pristojnosti – kaj če je to izkrivljena slika, ki je posledica metodološke napake?

***
Dr. Valerija Korošec, zaposlena na Umarju.

Prispevek je mnenje avtorj ain ne izraža nujno stališč uredništva.