Nyhed
Læsetid: 5 min.

Alvorlige problemer med EU’s officielle meningsmålinger: »Vi aner ikke, om det er sandt eller ej«

Den er helt gal med EU’s officielle meningsmålinger, vurderer eksperter på baggrund af en aktindsigt, som Information har fået i det bagvedliggende materiale. Formentlig overvurderer målingerne de europæiske befolkningers opbakning til unionen
De mest EU-kritiske borgere er typisk er mindre tilbøjelige til at deltage i et stort interview om EU end de mere EU-begejstrede. Og derfor er det et problem for validiteten af Eurobarometers undersøgelser, at svarprocenten i mange land er så lav.

De mest EU-kritiske borgere er typisk er mindre tilbøjelige til at deltage i et stort interview om EU end de mere EU-begejstrede. Og derfor er det et problem for validiteten af Eurobarometers undersøgelser, at svarprocenten i mange land er så lav.

Christopher Pledger

Udland
3. december 2019

EU’s officielle meningsmålinger, Eurobarometer, citeres flittigt i medierne og bruges af både politikere, tænketanke og EU-institutioner. Men nu viser det sig, at der er alvorlige problemer med målingerne.

Information har fået aktindsigt i Eurobarometers såkaldte svarprocenter, som viser, hvor stor en andel af de adspurgte borgere der faktisk gennemfører de tilgrundliggende interview. Og i en række EU-lande er svarprocenterne så lave, at de er stærkt problematiske at bruge. Det vurderer førende valgforskere, som peger på, at borgernes opbakning til unionen efter alt at dømme bliver systematisk overvurderet. 

EU tegner altså tilsyneladende et for rosenrødt billede af sig selv.

»Eurobarometers svarprocenter er så lave, at man i videnskabelige sammenhænge ville studse meget kraftigt over det,« siger Kasper Møller Hansen, professor i statskundskab på Københavns Universitet.

Han kalder svarprocenterne for »grufulde« og siger:

»Ultimativt er faren, at politikere ser på Eurobarometers tal og drager nogle forkerte konklusioner: At borgerne vil have mere EU, end tilfældet faktisk er. Eller at man sagtens kan vinde en folkeafstemning.«

For hver gang 100 tyskere blev bedt om at deltage i en Eurobarometer-undersøgelse i starten af 2018 takkede kun 15 ja. Det giver en svarprocent på 15.

Eksperter, som Information har talt med, vurderer, at svarprocenten bør ligge på 45-50, før undersøgelsen er repræsentativ.

Systematisk fejl

Den seneste Eurobarometer-undersøgelse, som der er opgjort svarprocenter fra, er fra 2018. Her var svarprocenterne lave i en række lande: I Finland 14, Tyskland 15, Luxembourg 20, Italien 22, Storbritannien 27, Danmark 28, Grækenland og Frankrig 31, Irland 33, Spanien 34, Letland 38 og i Portugal 40.

Information har fået aktindsigt i svarprocenterne for fem Eurobarometer-undersøgelser, der er indsamlet fra starten af 2016 til starten af 2018. I alle fem er der ifølge eksperterne problemer.

»Hvis min hypotese er korrekt, så undervurderer Eurobarometer systematisk graden af euroskepsis,« siger Paolo Segatti, der er professor på Universitetet i Milano.

Det skyldes, at de mest EU-kritiske borgere typisk er mindre tilbøjelige til at deltage i et stort interview om EU.

Også professor emeritus på center for europæisk socialforskning i Mannheim Hermann Schmitt er stærkt kritisk.

»Det er meget dårligt. Man kan ikke vurdere andelen af euroskepsis med en svarprocent på 15 procent,« siger professoren med henvisning til svarprocenten i Tyskland.

Han tilføjer, at de lavest uddannede typisk er sværest at få til at deltage.

»Så de lave svarprocenter går ud over repræsentativiteten,« siger professoren.

– Hvad med et spørgsmål som ’føler du dig som EU-borger?’ Det svarer 88 procent af tyskerne og 82 pct. af danskerne, at de gør, i den seneste undersøgelse.

»Vi aner ikke, om det er sandt eller ej.«

Man kan drage forkerte konklusioner

I Danmark har Eurobarometers svarprocenter svinget mellem 23 og 28 procent fra 2016 til 2018.

I et mindretal af EU-landene var Eurobarometers svarprocenter acceptable i den seneste måling: I Holland 81, Sverige 75, Slovakiet 65, Rumænien 62, Ungarn 54, i Bulgarien 49, Malta 47, Belgien 47 og i Slovenien 45.

Det er en generel tendens, at svarprocenter falder i meningsmålinger i Vesten, fordi stadigt færre borgere vil interviewes. Eurobarometer adskiller sig fra andre målinger ved ikke at benytte telefon- eller webinterview, men udelukkende interviewe borgerne ansigt til ansigt i deres hjem. Det gør det endnu sværere at opnå høje svarprocenter.

»Eurobaromter har valgt at holde fast i en besværlig og dyr metode,« siger Kasper Møller Hansen. »Det er trods alt ret få mennesker, der gider have besøg for at sidde og svare på spørgsmål om politik i deres køkken.«

Ikke statistik

Eurobarometers almindelige meningsmålinger har et maksimalt budget på 381 millioner kroner over fire år, altså knap hundrede millioner om året. Og EU får meget omtale for pengene. 

Offentligheden hører ofte om målinger fra Eurobarometer, der viser, at danskerne og europæerne i øvrigt er vældigt glade for EU.

Som når Tænketanken Europa konkluderer, at der er »rekordhøj tillid til EU blandt danskerne«. Når Venstres Morten Løkkegaard jubler over, at »78 procent af danskerne« er glade for frihandel. Når EU-Kommissionen fortæller sine to millioner følgere på Facebook, at »europæerne er glade for EU’s tilstand«. Og når den tyske leder af den konservative EPP-gruppe, Manfred Weber, fremhæver, at 76 procent af tyskerne ifølge Eurobarometer, mener, at de får noget ud af EU.

Men meget tyder altså på, at målingerne fra Eurobarometer er problematiske.

I Tyskland er svarprocenten eksempelvis faldet fra 41 procent i 2016 til 15 procent i 2017 og 2018. Og i Italien er den faldet fra 27 procent i 2016 til 23 procent i 2017 og 22 procent i 2018.

Forskelligartede stikprøver

Eftersom Eurobarometer har stillet de samme spørgsmål over en årrække, bruges tallene ofte til at sige noget om udviklingen over tid: ’Er støtten til EU steget elle falder i Spanien?’ ’Har tyskerne fået mere tillid til landbrugspolitikken?’

Men historiske sammenligninger er vanskelige, når svarprocenterne falder, vurderer forskerne. I takt med at svarprocenterne falder, må man nemlig også forvente, at andelen af EU-kritiske besvarelser falder. Det kan skabe en falsk stigning i opbakningen til EU-institutioner.

Og sammenligninger mellem landene er også problematiske. 

»EU-Kommissionen kigger meget på sammenligninger mellem landene: ’Ligger Sverige højere end Italien eller Danmark’. Det er et problem, for når stikprøverne er forskellige fra land til land, bliver det svært at sammenligne,« siger Hermann Schmitt.

Når der er problemer med en undersøgelses repræsentativitet, vil forskere ofte forsøge at ’vægte’ sig ud af problemerne. Hvis de eksempelvis har fået fat i tusind mennesker, men kun 400 af dem er kvinder, kan man ’vægte’ de kvindelige svar lidt højere end de mandlige, så pengene passer. Det kan man gøre med parametre som alder og geografi, fordi man kender aldersfordelingen og den geografiske spredning i de enkelte lande. Men det er umuligt at vægte for EU-skeptiske vælgere, siger Kasper Møller Hansen – for man ved ikke hvor mange, der er.

»Man kan ikke vægte sig op ad noget, man ikke kender fordelingen på,« siger han.

Når svarprocenterne er så lave, kan det være, der er et helt segment af borgere, man slet ikke har fået med. Og Eurobarometers egen metodebeskrivelse viser, at de slet ikke vægter deres data for parametre, som uddannelsesgrad og partivalg.

Eurobarometer anerkender over for Information, at deres svarprocenter er faldet, og at »høje svarprocenter er at foretrække, og at svarprocenten ofte bruges som en indikator for datakvalitet«. Men de mener ikke, at det diskvalificer deres resultater.

»Eurobarometer-undersøgelser måler folks opfattelse og følelser om emner, de er ikke og påstår ikke at være statistik,« skriver de i en e-mail.

»I modsætning til andre meningsmålinger bliver alle EU-medlemsstater med Eurobarometer-undersøgelserne dækket sammenhængende med samme metode, med de samme spørgsmål og på samme tid.«

Eurobarometer har dog allerede taget initiativ til at »forbedre kvaliteten af hele processen, som svarprocenten er et element af«, skriver de.

De vil bruge mere tid på feltarbejde og skære antallet af spørgsmål i undersøgelsen ned. Men de oplyser, at de ikke har i sinde at lave web- eller telefoninterview.

Følg disse emner på mail

Vores abonnenter kalder os kritisk, seriøs og troværdig.
Få ubegrænset adgang med et digitalt abonnement.
Prøv en måned gratis.

Prøv nu

Er du abonnent? Log ind her

Man kommer altså heller ikke til af kunde stole på dem i nær fremtid...

Eva Schwanenflügel, Henrik Peter Bentzen, Carsten Mortensen og Tommy Clausen anbefalede denne kommentar

Er det ikke mediernes ansvar. Jeg har den opfattelse at medierne ikke længere er troværdige.

Torben K L Jensen, Henrik Peter Bentzen, Carsten Mortensen og Ole Arne Sejersen anbefalede denne kommentar
Henrik Brøndum

Alle og enhver ved da at meningsmålinger er det rene vås?

Carsten Munk, Henrik Peter Bentzen, Carsten Mortensen og Tommy Clausen anbefalede denne kommentar
Jens Mose Pedersen

Jeg stoler ikke på statistik jeg ikke selv har manipuleret.

Henrik Brøndum, Lillian Larsen og Torben K L Jensen anbefalede denne kommentar

Eurobarometer er ikke den første propagandamaskine i Europa, og heller ikke de forrige havde hånd i hanke med befolkningernes reelle mening.
De giver sig ud for, at være interesserede i menneskers holdninger men har reelt det formål, at give sig selv mere magt og flere beføjelser.
Hvis EU-parlamentet ønsker at lave politik i øjenhøjde, så skal de holde sig fra at fifle med dårligt funderede undersøgelser, som giver misvisende resultater. men det er måske netop meningen …. at lave manipulerbare undersøgelser. De er jo altid rare at have liggende.
Det korte af det lange er nok, at hvilken som helst undersøgelse der har EU som afsender, har til formål at øge magten …. ikke hos borgerne men hos parlamentet.

Hanne Utoft, Eva Schwanenflügel, Jan Jensen og Henrik Peter Bentzen anbefalede denne kommentar

Medierne har i mange år udstillet deres egen ambivalent i forhold til spørgsmålet, ved på de ene side ukritisk at bruge målingerne i deres medier, - men også samtidig gang på gang at skrive om de kritiske grupperinger der findes i landene, og dertil skal yderligere tilføjes de mange artikler om hele / alle de gamle Østeuropæiske lande og deres lederes der, der direkte skilter med deres modstand overfor EU, og de aftaler som de har indgået for at være med i EU.

På intet tidspunkt har medierne valgt at overveje om eller omtænke deres begejstrede forhold til disse EU målinger på de kendte forhold, men alene brugt dem helt ukritisk.

Jan Jensen, Eva Schwanenflügel, Claus Nielsen og Lasse Glavind anbefalede denne kommentar

Eurobarometer:

Til udelt glæde for Unionens borgere kan Erich Honecker meddele at vor kære vicekommissionskommissær Margrethe Vestager på vegne af EU's institutioner - herunder EU-parlamentet og EU-kommisionen, har opfyldt Unionens fem-årige planer for produktion af pølse.

Tænketanken Europa konstaterer endvidere, at ved det kommende besøg i sin hjemregion Danmark vil Vicekommissærens bilkorteges blive fulgt af tusinde lykkelige danske EU-borgere.....

På baggrund af Tænketanken Europa analyser af Eurobarometers talmateriale bryder Dagbladet Politiken sit format ved at give 7 hjerter til vicekommissionskommissær Margrethe Vestager arbejde i den nye EU-kommission.

....................Eurobarometer (når man skal sige det selv)...........................

Bjørn Pedersen, Hanne Utoft, Finn Thøgersen, Torben K L Jensen og Eva Schwanenflügel anbefalede denne kommentar
Carsten Nørgaard

En ganske aktuel artikel. I går udgav Europa-Kommissionen en pressemeddelelse, der sagde, at et nyt Eurobarometer viste, at opbakningen til euroen var større end nogensinde før: 3 ud af 4 europæere. Det højeste niveau siden 2002.

Det viste sig så at være et Flash Eurobarometer, som udføres endnu mere sløset end Standard Eurobarometer, så EU kan få nogle hurtige data.

Set i lyset af Informations artikel er det lige i skraldespanden med den slags.

Jeg har også ladet mig forstå, at Eurobarometer typisk foregår med interviews ansigt til ansigt. Når respondenterne ved, at intervieweren kommer fra EU og bedes om at besvare spørgsmål om netop EU på den måde, kan det vel heller ikke være godt for målingens troværdighed.

(Det skal bemærkes, at flere aktivt engagerede »pro-europæere« allerede har haft mistanke om det, Information nu bekræfter. Der er jo så ringe overensstemmelse mellem EU's data og alle andre meningsmåleres data. Men der er også mange i det miljø, som har haft travlt med at naturalise Eurobarometer og fremstille det som neutralt, videnskabelig arbejde hvor »alle de andre« så skildre som euroskeptiske propagandamaskiner. Ak ja.)

Hanne Utoft, Eva Schwanenflügel og Claus Nielsen anbefalede denne kommentar

EU er blevet en frihandelsorganisation til glæde for de største virksomheder og for skattely.
De mindre virksomheder(og landbrug) skal nu konkurrere med produkter fremstillet af arbejdere uden gode arbejdsforhold.
Krummer som billigere internet og telefoni bliver så kastet til borgerne.
EU kan ikke engang håndhæve menneskerettighedder i EU.
Tør de spørge hvad borgerne vil have, eller kan man kun krydse af på forud definerede udsagn?

Morten Lind, Bjørn Pedersen, Hanne Utoft, Lillian Larsen, Per Selmer, Eva Schwanenflügel og Lasse Glavind anbefalede denne kommentar

officielle usandheder... jamen, ärligt talt, hvilken rystende overraskelse!

...

Eller også er det simpelthen på tide at menneskeheden begynder at tage ansvar for sig selv og egen läring, i stedet for konstant at rende i halen på "ledere" og "eksperter". Principielt set er det jo godt nok med eksperter og ledere, men for hulen... Vi bliver först og fremmest nödt til at stole på og udvikle egen sund fornuft og dömmekraft!

Jens Carstensen

Statistik er som en gadelygte: "Ikke særligt oplysende, men god at støtte sig til" eller som bikinien: "Den viser noget interessant og skjuler noget væsentligt". Intet nyt i det.

Bjørn Pedersen

Det kniber godt nok gevaldigt med selvransagelsen blandt de andre danske og udenlandske medier hvad brugen af Eurobarometer data angår: Der er indtil videre kun Information, der dækker denne nyhed. Googler man "eurobarometer polls", vil man dog blandt resultaterne se en rapport fra 2015 (How the Eurobarometer polls blur the line...") også sår samme tvivl . Den blev dog heller ikke til en nyhed.