Center for Vild Analyse: Sandheden er risikabel

I en artikel i Nature for nylig har 800 forskere kaldt til oprør mod anvendelsen af ’statistisk signifikans’ i videnskabelige artikler.

Det lyder måske mærkeligt: Hvorfor skulle det være et problem at angive, om ens undersøgelse har givet et resultat, man kan regne med? Men der er flere grunde til, at seriøse naturvidenskabsfolk ser uheldige tendenser i den måde, statistik bliver anvendt på efterhånden.

Vi kender i første omgang problematikken fra den slags artikler, der fortæller om ny forskning, der har vist, at man lever længere, hvis man drikker fire kopper kaffe om dagen. Det lyder jo fint, men så er det bare, at man ugen efter læser, at en anden undersøgelse har vist, at for megen kaffedrikning øger risikoen for hjertekarsygdomme. Begge undersøgelser kan i princippet være inden for den statistiske sikkerhed, der kræves.

Problemet med begrebet om statistisk signifikans er, ifølge underskriverne på artiklen i Nature, at det har fået en række helt uhensigtsmæssige konsekvenser, som strider imod selve forskningens raison d’etre. Kan man vise, at ens undersøgelse er ’statistisk signifikant’, passerer den adgangskravet for publikation i videnskabelige tidsskrifter.

Problemet er imidlertid, at denne praksis både kan føre til forkastelsen af væsentlige resultater, der af forskellige grunde ikke kan leve op til statistisk signifikans, og til overdreven tillid til resultater, der kan. Man kan endda trække konsekvensen et skridt længere: Kan man ikke forestille sig, at forskere vil være fristet til at tilrettelægge deres forsøg sådan, at de kan være sikre på at finde en statistisk signifikans – også selvom den måske ikke fortæller noget, vi har brug for at vide?

Jacques Lacan sagde netop om det, han kaldte universitetsdiskursen, at dens imperativ er bestandig at vide mere uden at have nogen bestemt idé med, hvorfor vi skal vide det, vi ved. Det er så at sige publikationen i sig selv, som rent produkt, som vare eller som social kapital, der er videnskabens endemål i denne diskurs.

Ja eller nej?

Hvis man behandler den statistiske signifikans som en slags gatekeeperbegreb, ender man med at få en falsk forestilling om videnskabelig objektivitet, som også kan udnyttes politisk.

Ved en klimakonference i Anders Fogh Rasmussens regeringstid holdt den daværende statsminister en åbningstale, hvor han bad videnskabsfolkene om nu én gang for alle at give et klart svar på, om to graders temperaturstigning så også var det maksimale, der kunne accepteres.

Problemet var, at alle forskere var usikre på en masse af de helt centrale spørgsmål om klimaet: Hvor meget vil temperaturen præcist stige, hvis vi fortsætter som nu, hvad vil det betyde for havene og livet på jorden, hvilke tipping points skal man regne med, hvor forskellige begivenheder (f.eks. frigivelsen af metangasser fra den russiske tundra) pludselig kan accelerere udviklingen dramatisk osv.

Alligevel havde de en stigende fornemmelse af, at de kunne være i gang med at afdække noget ekstremt vigtigt.

Foghs snedige (eller nedrige) spørgsmål var som en reviewkommentar til en artikel, der manglede statistisk signifikans. Når videnskaben ikke er enig, eller tøver med at udtale sig som den plejer, kan vi godt lige vente nogle år med at sætte alt for megen klimapolitik i søen.

Forskerne i Nature anbefaler tværtimod, at vi ’omfavner usikkerheden’ som en nødvendighed for at modvirke de uheldige implikationer af den ekstreme fokusering på statistisk signifikans. Hvad de også kunne sige var, at videnskaben skal genopfinde sin evne til at eftersøge sandheden – snarere end at eftersøge publikationen og bevillingen.

Hvis en masse mennesker, der har drukket fire kopper kaffe, falder døde om, har man et videnskabeligt resultat. Det samme har man, hvis man kan vise, at brug af et nyt præparat fører til øget risiko for modermærkekræft – et eksempel, der for nylig blev udlagt af Anton Pottegård og Jan Lindebjerg på Forskerzonen.

Men hvad nu, hvis den øgede risiko for modermærkekræft kommer af, at brugerne af et nyt præparat oftere bliver tjekket hos lægen, hvilket generelt giver bedre betingelse for diagnosticering?

Signifikanskravet kan føre til en type af forskning, der udelukker alle andre relevante faktorer end netop dem, der fremhæver deres hypotese. Endnu mere paradoksal er den ’statistisk signifikante’ forskning, der risikerer at ende i postulater og fantasier om objektiv og ubetvivlelig videnskabelighed: Er signifikanskravet opfyldt, er det sandt; er det ikke, er det falsk.

Men sandheden er ikke entydig og betinget af et ja eller nej til en statistisk signifikans. Den er fyldt med huller, modsigelser og faktorer, man endnu ikke vidste skulle tælles som baggrund for resultaterne. Den er risikabel.

Spørgsmålet er ikke, hvordan vi sikrer en ufejlbarlig viden – men hvordan vi lærer at håndtere en viden, der altid rummer sin egen usikkerhed.