Læsetid: 3 min.

Center for Vild Analyse: Sandheden er risikabel

I stedet for at producere statistisk signifikans, burde forskningen måske bekymre sig mere om sandheden og dens uberegnelighed
11. maj 2019

I en artikel i Nature for nylig har 800 forskere kaldt til oprør mod anvendelsen af ’statistisk signifikans’ i videnskabelige artikler.

Det lyder måske mærkeligt: Hvorfor skulle det være et problem at angive, om ens undersøgelse har givet et resultat, man kan regne med? Men der er flere grunde til, at seriøse naturvidenskabsfolk ser uheldige tendenser i den måde, statistik bliver anvendt på efterhånden.

Vi kender i første omgang problematikken fra den slags artikler, der fortæller om ny forskning, der har vist, at man lever længere, hvis man drikker fire kopper kaffe om dagen. Det lyder jo fint, men så er det bare, at man ugen efter læser, at en anden undersøgelse har vist, at for megen kaffedrikning øger risikoen for hjertekarsygdomme. Begge undersøgelser kan i princippet være inden for den statistiske sikkerhed, der kræves.

Problemet med begrebet om statistisk signifikans er, ifølge underskriverne på artiklen i Nature, at det har fået en række helt uhensigtsmæssige konsekvenser, som strider imod selve forskningens raison d’etre. Kan man vise, at ens undersøgelse er ’statistisk signifikant’, passerer den adgangskravet for publikation i videnskabelige tidsskrifter.

Problemet er imidlertid, at denne praksis både kan føre til forkastelsen af væsentlige resultater, der af forskellige grunde ikke kan leve op til statistisk signifikans, og til overdreven tillid til resultater, der kan. Man kan endda trække konsekvensen et skridt længere: Kan man ikke forestille sig, at forskere vil være fristet til at tilrettelægge deres forsøg sådan, at de kan være sikre på at finde en statistisk signifikans – også selvom den måske ikke fortæller noget, vi har brug for at vide?

Jacques Lacan sagde netop om det, han kaldte universitetsdiskursen, at dens imperativ er bestandig at vide mere uden at have nogen bestemt idé med, hvorfor vi skal vide det, vi ved. Det er så at sige publikationen i sig selv, som rent produkt, som vare eller som social kapital, der er videnskabens endemål i denne diskurs.

Ja eller nej?

Hvis man behandler den statistiske signifikans som en slags gatekeeperbegreb, ender man med at få en falsk forestilling om videnskabelig objektivitet, som også kan udnyttes politisk.

Ved en klimakonference i Anders Fogh Rasmussens regeringstid holdt den daværende statsminister en åbningstale, hvor han bad videnskabsfolkene om nu én gang for alle at give et klart svar på, om to graders temperaturstigning så også var det maksimale, der kunne accepteres.

Problemet var, at alle forskere var usikre på en masse af de helt centrale spørgsmål om klimaet: Hvor meget vil temperaturen præcist stige, hvis vi fortsætter som nu, hvad vil det betyde for havene og livet på jorden, hvilke tipping points skal man regne med, hvor forskellige begivenheder (f.eks. frigivelsen af metangasser fra den russiske tundra) pludselig kan accelerere udviklingen dramatisk osv.

Alligevel havde de en stigende fornemmelse af, at de kunne være i gang med at afdække noget ekstremt vigtigt.

Foghs snedige (eller nedrige) spørgsmål var som en reviewkommentar til en artikel, der manglede statistisk signifikans. Når videnskaben ikke er enig, eller tøver med at udtale sig som den plejer, kan vi godt lige vente nogle år med at sætte alt for megen klimapolitik i søen.

Forskerne i Nature anbefaler tværtimod, at vi ’omfavner usikkerheden’ som en nødvendighed for at modvirke de uheldige implikationer af den ekstreme fokusering på statistisk signifikans. Hvad de også kunne sige var, at videnskaben skal genopfinde sin evne til at eftersøge sandheden – snarere end at eftersøge publikationen og bevillingen.

Hvis en masse mennesker, der har drukket fire kopper kaffe, falder døde om, har man et videnskabeligt resultat. Det samme har man, hvis man kan vise, at brug af et nyt præparat fører til øget risiko for modermærkekræft – et eksempel, der for nylig blev udlagt af Anton Pottegård og Jan Lindebjerg på Forskerzonen.

Men hvad nu, hvis den øgede risiko for modermærkekræft kommer af, at brugerne af et nyt præparat oftere bliver tjekket hos lægen, hvilket generelt giver bedre betingelse for diagnosticering?

Signifikanskravet kan føre til en type af forskning, der udelukker alle andre relevante faktorer end netop dem, der fremhæver deres hypotese. Endnu mere paradoksal er den ’statistisk signifikante’ forskning, der risikerer at ende i postulater og fantasier om objektiv og ubetvivlelig videnskabelighed: Er signifikanskravet opfyldt, er det sandt; er det ikke, er det falsk.

Men sandheden er ikke entydig og betinget af et ja eller nej til en statistisk signifikans. Den er fyldt med huller, modsigelser og faktorer, man endnu ikke vidste skulle tælles som baggrund for resultaterne. Den er risikabel.

Spørgsmålet er ikke, hvordan vi sikrer en ufejlbarlig viden – men hvordan vi lærer at håndtere en viden, der altid rummer sin egen usikkerhed.

Serie

Center for Vild Analyse

Center for Vild Analyse har eksisteret som sted for tænkning siden august 2006.

CVA analyserer kulturelle og politiske fænomener under parolen ’hvis du vil vide det modsatte’, ofte med inspiration fra psykoanalysen

Seneste artikler

Bliv opdateret med nyt om disse emner på mail

Vores abonnenter kalder os kritisk, seriøs og troværdig.
Få ubegrænset adgang med et digitalt abonnement.
Prøv en måned gratis.

Prøv nu

Er du abonnent? Log ind her

Anbefalinger

  • odd bjertnes
  • Kurt Nielsen
  • Troels Ken Pedersen
  • Bjarne Toft Sørensen
  • Eva Schwanenflügel
odd bjertnes, Kurt Nielsen, Troels Ken Pedersen, Bjarne Toft Sørensen og Eva Schwanenflügel anbefalede denne artikel

Kommentarer

Bjarne Toft Sørensen

Ligefrem at skulle "omfavne usikkerheden" som en nødvendighed for at modvirke de uheldige implikationer af den ekstreme fokusering på statistisk signifikans er for mig at se en uheldig formulering, fordi den i sig rummer muligheden for den ofte anvendte "enten eller" diskurs.

Eller den ret anvendte måde at tænke på i bestemte venstrefløjskredse, at når dem på højrefløjen har ret til at svindle, så har vi også. At dyrke usikkerheden kan i hvert fald aldrig i sig selv blive et mål.

Det kan ikke være et mål at åbne op for f.eks. muligheden for holistiske "forvirringer" og "hvad som helst kan lade sig gøre" forestillinger. I givet fald vil det undergrave alle former for institutionel troværdighed, og videnskab er nu engang også et samfundsmæssigt, socialt, institutionelt og internationalt anliggende med juridiske implikationer.

Formuleringen " ---- at videnskaben skal genopfinde sin evne til at eftersøge sandheden – snarere end at eftersøge publikationen og bevillingen" er langt mere præcis i forhold til det, som det drejer sig om.

Såkaldt ufejlbarlig viden på baggrund af statistisk signifikans vil altid være fejlbarlig, for så vidt som de valgte forudsætninger kunne havde været nogle andre. Der går altid valg forud i videnskabelige undersøgelser af kvantitativ karakter (som er forudsætningen for beregninger af statistisk signifikans), også selv om disse valg er velvalgte, der ikke kan sige sig fri for også at have kvalitativ karakter.

Det er også værd at huske på, at sproget er en forudsætning for at bedrive videnskab, som ikke kan bortelimineres.

Kim Ravn-Jensen

Indtil en mere vidende person end jeg fremsætter anden argumentation, tillader jeg mig at tro, at sammenhængen i grunden er ret enkel: Hvis du som forsker udtænker en hypotese og derefter benytter statistiske metoder til at veri- eller falsificere den, er du på videnskabelig sikker (nok) grund.
Men hvis du planløst indsamler data, og derefter benytter kunstig intelligens og/eller andre teknikker (data mining) til at beregne en a posteriori hypotese, som du kan bekræfte med statistisk signifikans og derfor skrive en artikel om, har du snydt på vægten. Det er måden, den videnskabelige verden i dag vil bedrages på - og derfor bliver det.
Ovenstående er på ingen, gentager: ingen, måde et indlæg i klimadebatten. Det absurde er her, at olieindustrien i 70'erne spåede et menneskeskabt forløb, som siden stort set er verificeret. Altså det stik modsatte af data mining for levebrødets skyld.