Læsetid: 15 min.

Lægen, der satte spørgsmåltegn ved forskningens sandhedsværdi

Fra psykologi til kræftforskning og økonomi: Store dele af den fremmeste forskning har de seneste år vist sig ikke at holde, når den blev efterprøvet. Bag afsløringerne står især den græsk-amerikanske læge John Ioannidis, der har brugt de seneste 20 år på at finde forskningens fejl. Fejl, som har ført til det, der er blevet kaldt forskningens reproducerbarhedskrise
John Ioannidis blev i et portræt i det medicinske tidskrift BMJ fra 2015 kaldt ’sjusket forsknings plageånd’. Han betegner sig selv som en ’kompromisløs, mild galning’

John Ioannidis blev i et portræt i det medicinske tidskrift BMJ fra 2015 kaldt ’sjusket forsknings plageånd’. Han betegner sig selv som en ’kompromisløs, mild galning’

Redux

20. april 2018

Egentlig forskede John Ioannidis i sjældne sygdomme. Han var nyuddannet læge og forskede på Harvard Medical School i starten af 1990’erne, da han studsede over noget: Der var ikke den store forskel på behandlingen af sjældne sygdomme og behandlingen af mere udbredte lidelser som diabetes og hjerteproblemer.

Lægerne har relativt lidt dokumentation og forskning at basere diagnose og behandling på, når der er tale om sjældne sygdomme. Derfor må de ofte sjusse sig frem og gå efter deres mavefornemmelse. Men sådan gjorde lægerne også, når der var tale om kendte lidelser, konstaterede den unge Ioannidis ifølge magasinet The Atlantic. For selv om der var masser af forskning i kræft og diabetes, var den ofte bygget på observationer og små grupper af patienter. Sikre beviser for, at behandlingen virkede, var der ikke.

Den opdagelse blev startskuddet til, at John Ioannidis kastede sig over forskning i, hvor troværdig forskning egentlig er. En forskning, der i løbet af et par årtier er knopskudt og har udløst en krise, der har rystet den akademiske verden. Reproducerbarhedskrisen, kaldes den, og går kort fortalt ud på, at rigtig mange af de forskningsresultater, som både forskere og den bredere offentlighed troede var sande, viser sig ikke at kunne genskabes i nye forsøg.

Kort fortalt har Ioannidis – og senere en række andre forskere – sat fokus på forskningsmetoder, der er ufine i kanten, videnskabelige tidsskrifters forkærlighed for sensationelle resultater og kampen om forskningsmidler. Og det har ført til den største tillidskrise i den moderne videnskab. Spørgsmålet er: Hvad ved vi egentlig?

Forskning i forskningsmetoder

Der gik dog en del år fra Ioannidis’ opdagelse på Harvard, til krisen for alvor begynder at vise sig. I slutningen af halvfemserne samlede han en gruppe unge forskere omkring sig på University of Ioanninas Medical School i Grækenland. Sammen med dem ville han forsøge at forske i forskningens egne metoder.

To forskningsartikler fra 2005 satte for alvor John Ioannidis og hans græske forskergruppe på verdenskortet.

»Hvorfor de fleste offentliggjorte forskningsresultater er falske,« hedder den mest kendte. I den dokumenterer Ioannidis, at selv sundhedsvidenskabens mest guldrandede dokumentation – de randomiserede forsøg, hvor én gruppe personer får medicin, mens en anden får placebo – i mange tilfælde er forkerte. Årsagen er, at den statistiske metode, som de medicinske forskere benytter sig af, groft undervurderer sandsynligheden for at tage fejl.

Reproducerbarhedskrisen kort fortalt

Forskere har altid søgt efter nye og enestående opdagelser, men de seneste år har flere internationale undersøgelser vist, at forskningens rugbrødsarbejde – at genskabe forskningsresultaterne og tjekke, om de rent faktisk holder – ofte bliver forsømt. I 2016 viste en spørgeskemaundersøgelse i det videnskabelige tidsskrift Nature, at næsten 90 procent af de godt 1.500 medvirkende forskere mente, at videnskaben står i en reproducerbarhedskrise.

Når forskerne løber efter det nye og sensationelle i stedet for at efterprøve forskning, skyldes det bl.a., at forskerne bliver belønnet for, hvor meget de publicerer. Og de videnskabelige tidsskrifter er mest interesserede i nye store opdagelser, mens negative resultater eller replikationsstudier ikke har den store interesse. Den manglende reproducerbarhed og det stigende antal fejl svækker forskningens troværdighed.

I den anden artikel fra 2005 dokumenterer Ioannidis, at selv blandt de 49 mest citerede sundhedsvidenskabelige artikler igennem de seneste 13 år er der masser af konklusioner, som ikke holder. Blandt artiklerne om alt fra hormonbehandling af kvinder i overgangsalderen, ballonudvidelse i hjertet og aspirin mod for højt blodtryk, var det kun 34, der efterfølgende var blevet afprøvet. 14 af de afprøvede forsøg viste sig enten at være stærkt overdrevne eller helt forkerte. Og selv efter, at det var slået fast, at konklusionerne ikke holdt, gik der årevis – i et enkelt tilfælde 12 år – før forskerne holdt op med at citere forskningen som korrekt, viste Ioannidis’ granskning.

Bevis for fejlagtig forskning

Ioannidis’ foruroligende budskab om, at meget forskning måske slet ikke passer, var ikke nyt. Der var bare ikke mange, der havde lyttet til de kritiske røster, forklarer professor på Center for Forskningsanalyse Jesper Schneider fra Aarhus Universitet. Og der var heller ikke mange, der interesserede sig for Ioannidis’ artikler i 2005, selv om han som den første meget overbevisende sandsynliggjorde, hvor meget forskning der var fejlagtig, forklarer Jesper Schneider:

»Egentlig var der jo ikke noget nyt i det. Det problem, han skriver om, er enormt velbeskrevet især blandt statistikere, men sådan fungerer videnskaben: Nogle gange går der lang tid, før budskabet bliver hørt.«

I den nu næsten legendariske artikel fra 2005 om, hvorfor det meste forskning er forkert, går Ioannidis via simuleringer og matematiske udregninger i rette med den såkaldte p-værdi. P-værdien er en målestok for, hvor stor sandsynligheden er for, at man tager fejl. Og p-værdi bruges ikke bare i medicinsk forskning, men også psykologisk og samfundsvidenskabelig. Ioannidis viser, at p-værdien konsekvent undervurderer sandsynligheden for fejl. Når forskere tror, de har et resultat, der er statistisk signifikant – altså et resultat, der ikke bare skyldes statistisk usikkerhed – og at der kun er fem procents sandsynlighed for fejl, så er sandsynligheden for fejl snarere 30-40 procent.

»Ioannidis viser med artiklen i 2005, at forskerne konsekvent overvurderer styrken af deres studier, selv når alt gøres helt efter bogen,« siger Jesper Schneider. »Men forskere gør sjældent tingene efter bogen. Vi fisker efter p-værdier, jagter et signifikant resultat og skjuler en masse ting. Så når vi i forvejen undervurderer sandsynligheden for fejl, så ender vi med at publicere en masse ’ingenting’.«

Befinder forskningen sig i en krise?

Information har spurgt fire danske videnskabsfolk, om de mener, deres forskningsfelt er i krise. Og hvad de i givet fald mener, løsningen på problemet er

John Brodersen 

Praktiserende læge og professor, Institut for Folkesundhedsvidenskab, Københavns Universitet & Region Sjælland

– Oplever du, at der er problemer med at genskabe forskningsresultater inden for lægevidenskaben?

»Der findes eksempler på problemet inden for den evidensbaserede medicin. Det gælder dog hovedsagligt undersøgelser, der er sponsoreret af industrivirksomheder, og som viser nogle meget store effekter. Når de efterprøves af forskere uden økonomiske interessekonflikter, ser man ofte, at effekten er mindre eller helt forsvinder. Det er et problem særligt inden for lægemiddelforskningen, fordi der er så mange penge i det.«

– Hvad skal man gøre for at løse de problemer med reproducerbarhed, du nævner?

»Problemet er bevillingsområdet, hvor forskningen i stigende grad finansieres af eksterne midler i stedet for frie midler. Langt mere lægemiddelforskning bør være offentligt finansieret og være gennemført af uvildige forskere, end det er tilfældet i dag. Det er nødvendigt for at sikre lægemiddelforskning af en høj kvalitet, der bedre kan reproduceres.«

Psykologisk forskning får kritik

Det var først i 2011, at interessen for Ioannidis’ artikler fra 2005 for alvor satte ind. Da begyndte en række prominente psykologiforskere at kritisere fagets forskningsmetoder – blandt andet brugen af p-værdien. Kritikken førte til de første større reproduktionsstudier, som i 2015 viste, at alt for lidt psykologisk forskning kunne gentages. Ud af 100 artiklers konklusioner fra de tre førende psykologitidsskrifter var det kun 36 forsøg, som kunne gentages.

En række videnskaber begyndte også at sætte spørgsmålstegn ved den forskning, man før tog for givet. I 2012 viste et studie inden for kræftforskning, at kun seks ud af de 53 epokegørende internationale opdagelser kunne reproduceres. Året efter viste en af Ioannidis mere kuriøse artikler om sammenhængen mellem kost og kræft, at ud af 50 tilfældigt udvalgte ingredienser i en kogebog, så var 40 af dem ifølge forskningen både kræftforebyggende og kræftfremkaldende.

Forskningskrise

Ioannidis og flere andres årelange arbejde med at beskrive forskningens fejl har haft en langsomtvirkende effekt, mener sundhedsstatistiker Ole Olsen fra Københavns Universitetet.

»Forskerne har troet, at de fandt frem til sandheden, og det er selvfølgelig ikke rart at indse, at man tog fejl. Men selv om Ioannidis forskning er ekstremt fokuseret på metoder, så handler den jo også om den organisation, som forskningen foregår i. Derfor har diskussionen af forskningens krisetegn også spredt sig til alle mulige andre videnskabelige områder,« siger Ole Olsen.

I 2013 skrev The Economist om krisen i moderne videnskab, hvor et stigende antal artikler bliver trukket tilbage på grund af fejl, manglende reproducerbarhed og den deraf følgende utroværdighed omkring meget forskning.

Og det er ikke kun de videnskabelige områder, som beskæftiger sig med mennesker, der kæmper med fejl og manglende reproduktion. I Economist-artiklen vurderede en datalogisk forsker fra MIT blandt andet, at tre fjerdedele af alle offentliggjorte videnskabelige artikler om maskinlæring (når computere lærer af datainput, red.) kan være forkerte.

Ifølge flere forskere er problemet især, at de såkaldt negative resultater – resultater, som ikke bekræfter hypotesen, ikke får særligt meget opmærksomhed. Selv om negative resultater kan være lige så vigtige for forskning, som positive resultater, så handlede kun 14 procent af de offentliggjorte forskningsartikler i 2007 om negative resultater. Det tal var på 30 procent i 1990.

Det skyldes især de videnskabelige tidsskrifters tendens til at gå efter ’den gode historie’.

Pres for at publicere

Men krisesnakken har også bredt sig til de videnskabelige tidsskrifter. En undersøgelse lavet af Nature viste i 2016, at 90 procent af de godt 1.500 adspurgte forskere mente, at forskningen i større eller mindre grad befandt sig i en reproducerbarhedskrise.

Den vigtigste årsag til krisen er ifølge forskerne, at de vælger kun at offentliggøre positive resultater. For det er kun det nye og bemærkelsesværdige, som store videnskabelige tidsskrifter vil have, og antallet af publikationer og citationer er afgørende for at få en forskerkarriere og få tilført forskningsmidler. Pres for at publicere er ifølge forskerne i Natures undersøgelse den næstvigtigste årsag til krisen.

Dorthe Berntsen 

Professor, Psykologisk Institut, Aarhus Universitet

– Der har været meget fokus på problemer med at reproducere forskning inden for psykologien og særligt socialpsykologien. Hvad tænker du om det?

»Jeg mener, at meget af kritikken er overdrevet. Der er lavet mange systematiske replikationsstudier inden for psykologien inden for de senere år, og man har da også fundet en række tidligere studier, hvis resultater ikke kunne genskabes, når de blev gentaget af andre forskere eller med andre forsøgsgrupper. Problemet er, at mange af replikationsstudierne har haft en klar selektions-bias og hovedsageligt fokuseret på at efterprøve de mest bemærkelsesværdige fund. Men der er masser af studier inden for psykologien, der replikeres stabilt, men som bare ikke får samme opmærksomhed.«

– Hvad skal man gøre for at imødegå problemerne om manglende reproducerbarhed?

»Man skal lave mere programorienteret forskning, hvor man som forsker gennemfører en serie af studier, inden de publiceres. Nogle tidsskrifter har haft en tilbøjelighed til at tilgodese studier, der har høj nyhedsværdi, fremfor dem, der er metodisk robuste.«

Syg vækst

I 2010 bemærkede John Ioannidis i et portræt i The Atlantic, at vilkårene for forskerne med publiceringspres og evig jagt på forskningsmidler fører til, at forskere bevidst eller ubevidst kommer til at manipulere med resultaterne: »Der er en intellektuel interessekonflikt, som presser forskere til at finde frem til det, som med størst sandsynlighed vil føre til flere forskningsmidler.«

Et oplagt eksempel på forskernes interessekonflikter er beskrevet i en af Ioannidis artikler fra 2015. Den viste, at 97 procent af forskningsartiklerne om nye præparater, sponsoreret af medicinalindustrien, pudsigt nok nåede frem til, at industriens nye medicin virker.

Netop medicinalindustriens investeringer og interesser i medicinsk forskning er en afgørende grund til, at kritikken begyndte inden for netop den videnskab, mener Andrea Saltelli, der er statistiker og gæsteprofessor i forskningsfilosofi på Bergen Universitet.

»Når der er masser af penge investeret i forskning, så gør det både forskningen mere rådden, men også mere klar til at se kritisk på sig selv. På den måde var John Ioannidis på det rette sted på det rette tidspunkt. Alting var på plads til en katastrofe,« siger Andrea Saltelli.

Forvarsler

Men forvarslerne om den tillidskrise, som forskningen i dag står i, kom allerede i 1960’erne og 1970’erne. Forskere forudså dengang, at den eksplosive vækst i forskning og de øgede industrielle interesser i den ville svække den traditionelle kontrol med forskningens kvalitet, der sker ved, at forskerkolleger vurderer hinandens forskningsartikler, de såkaldte peer reviews.

Den amerikanske filosof Jerome R. Ravetz skrev i bogen Scientific Knowledge and it’s Social Problems i 1971: »Problemet med kvalitetskontrollen i forskningen er centralt for den industrialiserede forsknings sociale problemer. Hvis det ikke lykkes at løse det problem og udvikle nye teknikker, som kan indbringe dem, der fortjener det, prestige og belønning, så vil det få alvorlige konsekvenser for moralen, rekrutteringen og dermed for overlevelsen af forskningen selv.«

Mere ordentlighed i forskningen

For et par årtier siden så man reproducerbarhedsstudier som spild af penge – faktisk anså man det som uetisk at bruge nye forskningsmidler på at efterprøve gamle resultater. Men den tendens er ved at vende. Med de store metastudier, som John Ioannidis har været med til at lave på The Meta-Research Innovation Center på Stanford Universitet, og psykologiprofessor Brian Nosek har lavet i The Reproducibility Project om psykologiforskningen, så har reproducerbarhedsstudier fået en større plads i forskningen og langt mere offentlig opmærksomhed. Og Holland og USA er begyndt at sætte forskningsmidler af specifikt til reproducerbarhedsstudier.

Ifølge Torben Lund, der er lektor på Center for Funktionelt Integrativ Neurovidenskab på Aarhus Universitet, har reproducerbarhedsdebatten betydet, at der er kommet mere opmærksomhed på ordentlighed i forskningen – f.eks. med registrering af forsøget og den brugte metode, før det påbegyndes.

»Men det er først den dag, at de store tidsskrifter begynder at kræve ændringer og siger: ’Det kan vi ikke stå inde for,’ at det for alvor kommer til at ændre på noget,« siger Torben Lund.

Han har dog svært ved at se det for sig. Videnskabelige tidskrifter er nemlig en rigtig god forretning, hvor de store internationale tidskriftskoncerner tjener gode penge på den måde, som forskningen fungerer på i dag, hvor forskerne er afhængige af publikationer og citationer for at kunne gøre karriere og opnå forskningsmidler. Selv om der er mindre tidsskrifter, der går imod strømmen, så er det eneste, der ifølge Torben Lund for alvor kan ændre på systemet, at forskerne selv siger fra.

»Hvis forskere, der står med en vildt epokegørende opdagelse, fravælger de store tidsskrifter, og i stedet satser på de metodemæssigt mere seriøse, så ville det tidsskrift jo få større betydning.  Men det betyder ikke det store, hvis gennemsnitsforskere boykotter de store tidsskrifter,« siger Torben Lund.

Han ser det som spild af penge, at forskningssystemet opildner til forskning, der ikke reproduceres, men sådan vil det være, så længe det er den gode historie og ikke grundigt arbejde, der bliver belønnet. Derfor er det måske selve måden, forskningen belønnes på, som skal laves om.

»Hvorfor finder offentligheden sig i det? Det er jo skattekroner, der finansierer størstedelen af forskningen, og hvis den ikke kan reproduceres, så finder vi jo ikke ny viden, men i mange tilfælde bare ’gode historier’. Det er en dårlig udnyttelse af ressourcerne til forskning, at man har et system, der fremmer den forkerte type adfærd, og det kan hverken forskere, skatteydere eller politikere da være tjent med,« siger Torben Lund.

Marco Piovesan 

Lektor, Økonomisk Institut, Københavns Universitet

– Er der en reproducerbarhedskrise i den økonomisk forskning?

»Problemet i økonomiforskningen er begrænset, når du sammenligner med andre samfundsvidenskaber som for eksempel psykologien. Det skyldes ikke mindst, at man i økonomiske studier typisk arbejder med flere observationer end på andre forskningsområder. Derudover foregår der en streng vurderingsproces af resultaterne hos de økonomiske tidsskrifter.«

»Der findes dog også resultater inden for økonomi, der har vist sig svære at reproducere.«

– Hvad bør man gøre for at imødegå problemet?

»En mulighed er, at forskeren bag et forsøg udarbejder en undersøgelsesprotokol til projektet, men lader en anden, uafhængig forsker indsamle data. På den måde kan man undgå, at en forsker vælger at stoppe dataindsamlingen, når vedkommende har et signifikant resultat, fremfor at forfølge et tilstrækkeligt antal observationer.«

Sundt med spørgmål

Kristian Hvidtfelt Nielsen, der er lektor i videnskabsstudier på Aarhus Universitet, peger på, at der i praksis er flere barrierer for at leve op til idealet om reproducerbarhed i forskningen. Han er enig i, at der er behov for en bedre underbygning af, hvilke resultater der er vigtige, og hvilke der er ligegyldige.

»Indadtil i forskningsverdenen har reproducerbarhedsdiskussionen givet anledning til eftertanke om, hvad det er, vi vil med forskning, fordi den går imod en tendens til hele tiden at søge det nye og tænke meget i antal publikationer, og det er sundt at stille spørgsmålet: Hvad vil vi med forskningen? Er vi interesserede i at producere en masse forskning, hvor vi ikke ved, hvorvidt det er sandt eller forkert, eller er vi interesserede i at få underbygget resultaterne. Langt de fleste vil sige ja til det sidste, men det vil kræve en større mentalitetsændring, for reproducerbarhedsstudier er der ingen prestige eller penge i, som det er i dag,« siger Kristian Hvidtfelt Nielsen.

Åbenhed og selvkritik

Udover at skabe større prestige omkring reproducerbarhedsstudier, ser John Ioannidis og hans forskerteam på Stanford åbenhed om forskernes arbejde fra hypotese over metode til publikation som en vigtig del af løsningen. Det vil gøre det langt nemmere for andre forskere på feltet at teste og gennemskue, om forskningen egentlig holder.

Men også her er der langt igen. Selv blandt de 50 førende videnskabelige tidskrifter, som har en politik om at dele data bag forskningen, var det kun i under halvdelen af de 352 tilfældige artikler, at der rent faktisk var adgang til rådata, viser en anden af John Ioannidis’ analyser.

Der er altså alt mulig grund til at være kritisk over for den måde, forskningen fungerer på i dag. Også blandt forskerne selv. Som John Ioannidis skriver under sit alenlange cv på Stanfords hjemmeside: »De nuværende citationsrater siger, at jeg er blandt de 20 mest citerede forskere i verden, måske den mest citerede læge. Det beviser formentlig kun, at citationsberegninger er dybt upålidelige.«

Uanset om forskningens citationsberegninger holder eller ej, er der ingen tvivl om, at den unge John Ioannidis’ undren over, hvor lidt dokumentation lægerne egentlig baserede deres behandling på, har ført til en lavine af kritik af forskningen, som også er nået ud til den brede offentlighed. En kritik, som ifølge et interview fra marts med John Ioannidis på Stanford Universitys hjemmeside ikke må føre til, at vi tror, at videnskab handler om at gøre alt perfekt og aldrig at tage fejl. Det er ikke rigtig videnskab, siger Ioannidis. Han tror, at den bedste løsning på krisen er, at forskerne ser på forskningen på ny og holder op med at gøre, som de plejer:

»Hvis du vil gøre en opdagelse, der kan ændre verden, så lav om på den måde, du forsker på. Den effekt, dét kan have på tværs af forskningsfelter, kan være enorm.«

Karsten Riisager 

Lektor, Institut for Fysik og Astronomi, Aarhus Universitet

– Er der problemer med reproducerbarheden inden for fysikken?

»Relativt set er det ikke et særligt stort problem. Det skyldes blandt andet, at fysikere ikke har et religiøst forhold til spørgsmålet om statistisk signifikans. Man anvender også signifikans i fysikken, men vi trækker samtidig på en omfattede teoretisk grundviden, der er med til at luge de værste fejlresultater ud af eksperimenterne. Derudover hjælper det også fysikken, at man generelt anvender et stort antal observationer i forskningen.«

– Er der noget, andre forskningsretninger kan lære af fysikken?

»Fysikere har generelt en stærk matematisk ballast. Når der har været relativt få problemer med at genskabe resultater i fysikken sammenlignet med andre videnskabsretninger, skyldes det blandt andet, at fysik er en matematisk baseret uddannelse. Statistik er et matematisk værktøj, og jo bedre man forstår værktøjet, jo nemmere er det at bruge det rigtigt.«

 

Videnskapløb 2018

Information sætter fokus på ny forskning, og hvordan man bedst formidler videnskabshistorier til en bred offentlighed, når vi hvert år udgiver magasinet Videnskapløb.

Læs i år om, hvordan forskellige menneskebilleder slås om vores hjerter og sind – en kamp, der ligger skjult under overfladen, hver gang vi diskuterer alt fra Facebook til flygtningekrisen. Og dyk ned i vores tema om, hvordan videnskaben er blevet ramt af en krise, fordi en lang række prominente resultater inden for en bred vifte af forskningsområder viser sig ikke at holde, når uafhængige forskere forsøger at genskabe dem.

Videnskapløb udkommer som led i Ph.d. Cup, der er etableret i et samarbejde mellem DR og Information og støttet af Lundbeckfonden.

Andre artikler i dette tillæg

  • Brian Nosek arbejder for, at forskning skal blive ved med at være kedelig

    20. april 2018
    Reproducerbarhedskrisen er det bedste, der er sket for videnskaben i årtier. Videnskaben gør præcis, hvad den skal: Konfronterer sig selv med sine egne idealer og udvikler bedre praksisser. Det mener professor Brian Nosek, der er medstifter af Center for Open Science, som ønsker at fremme åbenhed og integritet i forskningsverdenen
  • Hvis først forskningen er forkert, så har vi for alvor et problem

    20. april 2018
    Budskabet har siden Brexit og valget af Trump været, at populismen truer sandheden og forskningen. Men reproducerbarhedskrisen i forskningen tyder på, at den største trussel mod forskningen måske ikke kommer udefra
  • Her er forskningen blevet ramt på troværdigheden

    20. april 2018
    Her er et overblik over de forskningsområder, som er blevet ramt på troværdigheden under reproducerbarhedskrisen, eller som bare er så uforståelige, at ingen ved, om forskningen er rigtig eller forkert
Bliv opdateret med nyt om disse emner på mail

Vores abonnenter kalder os kritisk, seriøs og troværdig.
Få ubegrænset adgang med et digitalt abonnement.
Prøv en måned gratis.

Prøv nu

Er du abonnent? Log ind her

Anbefalinger

  • Eva Schwanenflügel
  • David Breuer
Eva Schwanenflügel og David Breuer anbefalede denne artikel

Kommentarer

Der er ingen kommentarer endnu