Læsetid: 8 min.

Meninger er gratis – og næsten umulige at måle

Gang på gang rammer meningsmålinger forkert – senest ved parlamentsvalget i Storbritannien. Det er der mindst tre gode grunde til, at de vil blive ved med. Men der findes en metode, som giver bedre pejlinger: Køb aktier i et forventet valgresultat
Op til afstemningen om Maastricht-traktaten den 2. juni 1992 viste de fleste meningsmålinger et ja til traktaten, men lederne fra de tre store ja-partier måtte på valgaftenen alligevel se nederlaget i øjnene.

Keld Navntoft

26. maj 2015

Så ramte de forkert igen. Igen, igen. Det bliver en sand gyser, lød det. Den er lige på vippen, og der er udsigt til et hung parliament og en impotent mindretalsregering. Lød det. Hvorefter den konservative David Cameron ryddede bulen, tværede alle (på nær skotterne) og besatte et komfortabelt flertal af taburetterne i det engelske underhus.

»Ups,« sagde man fra det engelske råd for meningsmålinger og krævede en grundig, uafhængig undersøgelse af institutternes metoder.

Undersøgelsen vil utvivlsomt dvæle ved, hvor svært det er at forudsige resultater i netop det britiske valgsystem (hvor kredsvinderen tager det hele, og øvrige stemmer er tabt). Men det vil ikke være hele historien. Det gik nemlig også galt helt uagtet valgsystemet. De rene procentsatser – altså stemmefordelingen på landsplan for henholdsvis de konservative og Labour – var forkerte. Der var forudsigelser på 33-34 procent til begge partier. Valgresultat sagde noget andet, nemlig henholdsvis 37 pct. og 30,5 pct.

Altså – helt forkert.

En så katastrofal træfsikkerhed er på ingen måde et engelsk fænomen. Fejlskuddene er utvivlsomt en daglig foreteelse, også i Danmark. Man opdager det bare sjældent. For hvordan realitetstester man resultaterne? Det er svært at tjekke korrektheden, når undersøgelser viser, at halvdelen synes, at statsministeren er troværdig, to tredjedele går ind for økologisk mad, eller tre fjerdedele mener, at vi skal investere mere i børns uddannelse. Det er meget muligt. Eller også er det ikke.

Men politiske barometermålinger bliver realitetstjekket ved lejlighed. Når der er valg. Netop derfor er det ofte i kølvandet på valg, at man oplever mennesker, der med røde ører erkender, at noget gik galt, hvorfor proceduren nu ændres.

Måske er nogle af Informations læsere gamle nok til at huske strittende prognoser forud for danskernes nej til Maastricht-traktaten i 1992. Eller valget i 1998, hvor DR og TV 2 langt ud på valgaftenen var stærkt uenige om, hvorvidt Nyrup eller Uffe skulle have nøglen til Statsministeriet. Eller måske kommunalvalget i 2013, hvor Epinion og DR på baggrund af en exit poll (altså måling af mennesker, der havde stemt) forudsagde, at Socialdemokraterne nok ville få 7,5 procentpoint færre stemmer, end de fik.

Tre fejlkilder

Der er tre hovedkilder til, at meningsmålinger – og andre lignende markedsanalyser – kan ramme helt skævt. Den ene er fejl og mangler i metoden. Den anden er matematikken. Og den tredje menneskets natur.

Med hensyn til fejl og mangler er en klassiker magasinet The Literary Digest, der i 1936 forudsagde republikansk (Alfred Landon) jordskredssejr over demokraten Franklin D. Roosevelt. Det skete ikke – Roosevelt vandt 46 af 48 stater med i alt 60,8 pct. af stemmerne. Stikprøvestørrelsen var med 2,4 millioner svar astronomisk. Problemet var, at man havde spurgt egne læsere, bilejere og telefonabonnenter, hvilket udelukkede borgere med de laveste indkomster. Skæv stikprøve.

Institutterne er blevet en hel del klogere siden. De har sindrige matematiske modeller til at sikre, at der bliver korrigeret for skævheder. Og der er alle mulige grunde (herunder forretningsmæssige) til at tro, at de seriøse af dem gør alt, hvad de kan, for at ramme så præcist som muligt.

Men de to andre forhold – matematikken og menneskets natur – er sværere at gøre noget ved.

Det bliver omkring 29-37 pct.

Matematikken først. En meningsmåling er i virkeligheden en sandsynlighed. En sandsynlighed, vi får præsenteret hårdt vinklet.

En oplysning om, at et parti står til 33 pct., burde i virkeligheden (hvis instituttet har fulgt alle forskrifter) formuleres som noget i retning af: På baggrund af svar fra 1.000 repræsentativt udvalgte vælgere kan vi med 95 pct. sandsynlighed sige, at parti X får mellem 30 pct. og 36 pct. af stemmerne – et interval, hvis middelværdi er 33 pct.

Indrømmet, en svært usexet sætning. Og umuligt for medier at formidle hver gang. Men det er sandt. Der er et såkaldt sikkerhedsinterval omkring de 33 – fra 30 til 36. Og det, målingen egentlig viser, er, at tilslutningen med 95 pct. sandsynlighed ligger inden for dette interval. De 95 pct. sandsynlighed kaldes også sikkerhedsniveauet. Det betyder i virkeligheden noget i retning af, ’jeg kan garantere dig, at jeg tager fejl 1 ud af 20 gange’. Om en sådan fejlprocent er stor eller lille, er jo nok en smagssag.

Sikkerhedsniveauet er ikke specielt lavt hos institutterne. Store dele af den øvrige samfundsvidenskabelige forskning benytter samme niveau. Men de kunne sagtens sætte det op – f.eks. til 99 pct. Så tager de kun fejl 1 ud af 100 gange. Men det kan næppe anbefales, for så får man et andet problem: Jo større sikkerhed, man vil have i sin måling, desto større sikkerhedsinterval er nødvendigt. I stedet for et interval fra 30 til 36 med 95 pct. sikkerhed får man intervallet 29-37 med 99 pct. sikkerhed.

Mellem 29 og 37 pct. Suk!

Ret sikkert, men også aldeles usælgeligt for politikere, vælgere og folk, der lever af at sælge nyheder.

Så det forekommer ikke at være en farbar vej.

Institutterne kunne i stedet gøre noget andet: De kunne sætte stikprøvestørrelsen op. I stedet for 1.000 kunne de spørge 2, 3 eller 4.000 repræsentativt udvalgte vælgere. Jo flere, der bliver spurgt, desto snævrere et sikkerhedsinterval omkring de 33 pct. vil vi få. Og dermed: Mere præcis forudsigelse.

Problemet er bare, at matematikken ikke ligefrem er hjælpsom her. Skal båndet halveres, skal stikprøven firedobles – altså 4.000. En yderligere halvering kræver ny firedobling – 16.000 svar. Markant større præcision koster kassen, i både tid og penge.

Den vej virker heller ikke farbar.

Så institutterne vil givet blive liggende på de 95 pct. og cirka 1.000 svar. Hvilket jo vil være helt fint, hvis forudsigelsen er, at kandidat A står til at få syv ud af ti stemmer, mens der kun resterer tre til B. I den situation er usikkerheden ligegyldig. Anderledes, når f.eks. en befolkning – som ved Maastricht-afstemningen i 1992 – er splittet næsten lige over i to dele. Her giver målingerne absolut ingen mening.

Mange valg og afstemninger er tætte – og i et tæt opløb gør usikkerheden hele forskellen. Målingerne vil ramme nogenlunde rigtigt. Lige indtil de ikke gør. Og nogen må love bod og bedring. Igen, igen.

Menneskets natur

Men matematikken er ikke den eneste begrænsning. Oven i det skal lægges udfordringer med menneskets natur.

Igennem mange år har danske meningsmålinger været præget af en ret systematisk fejl. Det siger den danske ’Mr. Meningsmåling’, professor Søren Risbjerg Thomsen:

»Dansk Folkeparti har gennem årene konsekvent ligget for lavt i meningsmålingerne. Måske fordi nogle ikke synes, det var rart at indrømme, at de stemte DF.«

Fænomenet kender man også i Storbritannien:

»I sin tid ramte målingerne Thatchers tilslutning dårligt. Måske var det pinligt for nogle i et arbejderkvarter at sige, at de stemte på hende. Jeg ved ikke, om det aktuelle fejlskud i Storbritannien handler om det samme. Men det er da en mulighed,« siger Søren Risbjerg Thomsen.

Er fejlen systematisk, kan institutterne lære at tage højde for den. Men hvad med ikke-systematiske fejl? Måske svarer vi sandt, når vi bliver spurgt. Måske kan vi huske, hvad vi mener. Måske ved vi ikke, hvad vi mener, men synes det er pinligt og svarer derfor et-eller-andet. Måske ved vi det godt, men vil ikke stå ved det. Måske ombestemmer vi os, lige efter vi har svaret, eller vi siger det, vi tror intervieweren gerne vil høre. Eller svarer strategisk eller obstruktivt. Denne artikels forfattere finder f.eks. begge en urimelig barnlig glæde i at svare tåbeligt, når spørgsmålet stinker (a la »hvad synes du om, at politikere har rod i deres bilag?« Glimrende – mere af det, tak!).

Krystalkuglemarked

Der har i årevis eksisteret et alternativ til meningsmålinger. Et prediction market. Et marked for forudsigelser. Eller, om man vil, et krystalkuglemarked.

På et sådant marked handler man med forudsigelser af diverse udfald.

Det fungerer på følgende måde: En aktie udbydes på valgresultatet ’Rød blok vinder det kommende valg’. Sker det, giver aktien en indkomst på 100 kr. Hvis prisen på markedet på et tidspunkt forud for valget er 48 kr., kan det oversættes til, at der i markedet er en tro på, at rød blok har 48 pct. chance for at vinde.

Så sker der noget. F.eks. en tv-duel, hvor de røde virker vittige og veloplagte, mens de blå fremstår fortumlede og forvrøvlede. Markedets deltagere tror nu mere på de røde. Det vil give nogle lyst til at købe aktien. Prisen går op – markedet viser, at sandsynligheden for rød sejr er steget.

Nogle vil måske finde det besynderligt, hvis et sådant marked er en bedre krystalkugle end meningsmålinger, hvor man trods alt spørger folk, hvad de vil stemme. Argumentet er, at informationen ligger spredt blandt alle markedets deltagere – og enhver, der handler, vil have en drift i retning af at vinde penge og undgå tab. Derfor er der også et stærkt incitament til hele tiden at søge efter bedre information. De, der er bedst til dette, går ind i markedet med mange penge og vil vinde. De, der er dårligst, kan gå fallit og forlader dermed markedet. Det er denne konstante forbedring af den aggregerede information, der gør denne krystalkugle mere præcis end meningsmålinger .

Ligesom meningsmålingerne er den ikke perfekt. Men den er bedre. Det viser et studie af fem præsidentvalg i USA – fra 1988 til 2004. Knap 1.000 meningsmålinger er blevet holdt op mod et forudsigelsesmarked (Iowa Electronic Markets). Hver måling er blevet sammenlignet med den samtidige markedskurs – og udfaldet af valget. Resultat: Markedet var mere korrekt end målingerne i tre ud af fire tilfælde. Og mere end 100 dage før et valg var markedet bedst hver gang.

Onlinefirmaet Betfair har allerede i dag et marked, hvor man kan spille på det danske valg. Måske nogen skulle opfordre Danske Spil til at konstruere et.

Et ganske gratis tip til danske meningsmålingsinstitutter kunne være: Skil jer af med jeres interviewere og brug i stedet den sparede løn til gavekort til, at vælgere kan spille i firmaer, der udbyder krystalkuglemarkeder.

Næppe et synderlig profitabelt tip, men det vil utvivlsomt skabe større træfsikkerhed. Så stor træfsikkerhed, at spilfirmaer som Paddy Power (dem med Bendtners underbukser) tror så meget på markedets forudsigelseskraft, at de (som en gimmick, forstås) kan finde på at udbetale gevinster på forhånd: Flere uger før stemmerne blev talt op ved det amerikanske præsidentvalg i 2008, udbetalte Paddy Power en million euro til dem, der spillede på Obama.

Hvilket i øvrigt er et andet tip til meningsmålingsinstitutter med stor selvtillid: Sæt penge på højkant. Vær villig til at sætte penge på og derved stå til regnskab for deres målinger. Det vil i sagens natur øge troværdigheden.

Bliv opdateret med nyt om disse emner på mail

Vores abonnenter kalder os kritisk, seriøs og troværdig.
Få ubegrænset adgang med et digitalt abonnement.
Prøv en måned gratis.

Prøv nu

Er du abonnent? Log ind her

Anbefalinger

  • Henrik Brøndum
  • Erik Karlsen
Henrik Brøndum og Erik Karlsen anbefalede denne artikel

Kommentarer

Herman Hansen

Så snart der er trykket på en valgknap burde meningsmålinger og exit pool være ulovlige for ikke, at forvrænge og påvirke vælgerne og dermed valgresultatet.

Hvis f.eks. DMI forudsiger juli bliver en absolut vejr mæssig møg måned, mens august bliver hammer fed sommer, så vil de fleste fortrække at holde ferie i august.

Anders Sørensen

Der er tre ting, jeg er træt af her i livet: Konstante artikler baseret på meningsmålinger, konstante artikler om, at meningsmålinger egentlig ikke er retvisende, og at begge typer artikler er konstante.

Helene Kristensen, Torben Arendal, Peter Ole Kvint, Tue Romanow og Felix Austin anbefalede denne kommentar
Philip B. Johnsen

Meningsmålingsinstitutterne har muligvis en håbløs opgave, til det kommende valg, for folk stemmer, muligvis ikke på det de ønsker sig, men det de kan få, som ved valget i Storbritanien, valget i Storbritanien, kan derfor muligvis, giver klare indikationer om udfaldet, af det kommende valg her hjemme.

New Labour politikken, har fået en reguler lussing (igen).
Det er et valg der på overfladen overrasker, for fattigdommen er vokset meget i denne valg periode, selvom der er skabt mange arbejdspladser, men det er 'working poor', ca. en million er dagligt afspist af suppekøkkener i Storbritannien, men tilliden til Labour udeblev alligevel igen, hvorimod det langt mere venstreorienteret skotske SNP, der gik til valg på dette emne, nej til ulighed og fik et jordskredsvalg, men der kunne ikke stemmes på SNP, uden for Skotland.

Noget kunne tyde på, at mange gamle Labour vælgere, har stemt Det Konservative Parti i protest, fordi der ikke er forskel på New Labour politikken og Det Konservative Parti politik. Så hellere Det Konservative Parti politik, der godtnok ikke, får folk ud af fattigdom, men trods alt, skaber arbejdspladser og muligvis en lille skattelettelse, til de fattige.

Mon ikke vi ser det samme til valget, hvor ingen der traditionelt høre til på midten af dansk politik, ønske en højreorienteret uligheds og klimakatestrofe skabende regering, men alt er bedre end, at blive røvrendt, af sine egne (S, SF, R) med samme politik, men uden skattelettelser og alligevel forringet velfærd.

Gældsslaverne i middelklassen, tør ikke eksperimentere, vejen er kort til bunden af samfundet i Danmark, hvor sikkerhedsmaskerne i redningsgarnet, er blevet større, så hellere stemme for, egoistiske skattelettelser og et farvel til velfærdssamfundet og goddag til forsikringssamfundet.

Jeg håber personligt på, at tage fejl, at befolkningen tænker som skotterne, hvor sammenhold og solidaritet, står højest på ønskelisten og det er faktisk inden for EU SNP i Skotland vil gennemføre den udvikling.

Peter Ole Kvint

Jeg syntes at jeg skal stemme. Men valget er om jeg helst vil have en korrupt finansminister eller en korrupt statsminister. Som at vælge imellem Pest eller Kolera!
Måske stemmer jeg på en helt ukendt kvindelig kandidat. I håbet om at hun ikke er kriminel.

Hvordan skal nogen kunne, med nogen form for sandsynlighed, gætte mit kryds?
Ca. 20% af vælger føler som mig, i en og anden grad.

Mikkel Bech

Nu handler denne artikel ikke så meget om politik, men om meningsmåling generelt.

Og artiklens glade budskab er, at markedet er klart den bedste mekanisme, ikke bare til at allokere ressourcer men også til at forudsige udfald, der omfatter mennesker.

uffe hellum

Ikke alle analyser er lige dårlige.

USA har ligesom England et ret udemokratisk system, hvor mange stemmer kasseres, så små forskelle i befolkningen giver store forskelle i magtbalancen i parlamenterne. Det danske system med at fordele del-mandater systematisk og retfærdigt, gør forudsigelser mere præcise, og repræsentationen i parlamentet mere retfærdig.

Selv i et primitivt system som det amerikanske, kam man lave bedre forudsigelser end de værste institutter. Five thirty Eight har tilsyneladende en meget sober tilgang ti l matematikken, og giver som regel det mest nuancerede og afbalancerede resultat.

http://fivethirtyeight.blogs.nytimes.com/

Torben R. Jensen

Det er et skråplan, at opfatte demokratiske valg som et spil. Spillerne kigger også på meningsmålinger og sorterer formentlig de værste institutter fra. Modsat lotto-versionen er der tale om målinger af den aktuelle tilslutning og ikke prognoser for et valg mere end 3 måneder senere. Man kan derfor ikke konkludere, at "markedet" altid har ret. Tværtimod vil spil på vindere og indblanding af pengegevinster kunne give risiko alle mulige former for svindel. Hvad skal Lars Løkke mon have for en gedigen druktur dagen før valget?
Kritikken af meningsmålingerne rammer også ved siden af selv om kritik er relevant og meningsmålinger er til stor skade for små partier på spærregrænsen, hvor usikkerheden også normalt er væsentlig større end de matematiske afvigelser.
Den fejlagtige Epinion-måling ved kommunalvalget skyldes en sammenblanding af historiske og aktuelle svar. Metoden bliver tilsyneladen også anvendt ved Epinions meningsmålinger, så de fanger aldrig aktuelle begivenheder. Til gengæld ligger Epion højt blandt "meningsmålingseksperten" Søren Risbjerg Thomsens favoritter, fordi hans kvalitetsvurdering er evnen til at lande i midten af alle målinger.
Se evt rapporten om den fejlagtige exit-prognose:
http://danskemedier.dk/wp-content/uploads/2014/03/Risbjerg-Thomsen-rappo...

Mikkel Bech

Det er faktisk et smart system

Her kan man fx handle på, om Hilary Clinton bliver demokraternes næste kandidat

https://www.betfair.com/exchange/politics/marketactivity?id=1.107664930&...

Noget tilsvarende findes for den næste statsminister i Danmark, dog er markedet vist ikke så dybt som det amerikanske.

Så, hvis du agiterer for at Løkke ikke skal være statsminister, så kan du jo samtidig sætte en tusse på, at han bliver det, og så tjene til six-pac som trøst, for i følge markedet er er det næsten sikkert, at det bliver ham. Så er du loyal over for både hjerte og pengepung:)

Torben R. Jensen

Et "meningsmarked" er ikke beskyttet mod insiderhandel, falske nyheder og manipulation.
I det omfang, at der kan købes og sælges ods på en kandidat, så kan man med gearing og lidt fantasi få meningerne til at hoppe op og ned og formentlig tjene ganske godt begge veje. De helt store gevinster vil være til folk, som er placeret tæt på de enkelte kandidater med kendskab til nye sponsorer, kampagner og nedlæggelse af kandidaturet.
Selve valget bliver så en farce, men der er der nok også et par stykker, som påstår, gælder for valg i USA.

Mikkel Bech

Hvordan kan man have insiderviden om et forestående folketingsvalg?

Hvis odds ændrer sig urealistisk så handler man jo bare den anden vej.

Torben R. Jensen

Man kan f.eks. have viden om en kandidat vil trække sig eller intern information fra partiernes kampagnekontorer.

Henrik Brøndum

Fordelen ved meningsmålinger, astrologi etc. er jo at man ved - at står man overfor en person der tager dem alvorligt - så er det ikke studenterhuen der strammer - og så kan man måske lave en fin lille forretning ved at sælge en flaske patentmedicin eller en lovende investering,

Rolf Andersen

Vibeke, ja den endelige meningsmåling er selve valget. Problemet er så bare, at valget bliver påvirket af meningsmålingerne - mange stemmer 'taktisk' ud fra hvad de har hørt, alle de andre vil stemme.

Men det er jo umuligt totalt at forbyde meningsmålinger. Verden ER ikke perfekt ;-)

Vibeke Rasmussen

Men Rolf, det må da være muligt at indføre et forbud bare i de tre uger efter, at et valg er blevet udskrevet. Og vel også ønskeligt for politikerne?

Suuuk! jeg gruer allerede for de næste tre uger og overvejer at gå i flyverskjul for alle nyhedsmedier … velvidende, at det nok trods alt bliver ved overvejelsen. :-/

Rolf Andersen

Vibeke, Ja, man kan da godt indføre et forbud mod offentliggørelse af meningsmålinger i Danmark.

Men man kan ikke forbyde udenlandske nyhedsbureauer i at lave analyser, og man kan heller forbyde udenlandske betting-firmaer i at lave væddemål på valgets udfald.

Så nej: Vi lever ikke i en perfekt verden - og tak for det! Nyd nu bare cirkusset de næste tre uger ;-)

Søren Kristensen

Tænk hvis man kunne forbyde sætninger, hver gang de er udtalt af samtlige partier, fx: "Det skal kunne betale sig at arbejde". Men det kan man jo ikke, lige så lidt som man kan forbyde meningsmålinger. Der er kun en løsning og den er lige ved hånden: på din remote er der en knap der hedder "mute". Det er den du skal trykke på, hvis du ikke vælger helt at slukke for løjerne. Ellers må du finde dig en solid omgang floskler og meningskonsolidering. Sådan er det bare.