Læsetid: 7 min.

Alt for få forskningsresultater kan genskabes. Det underminerer forskningens sandhedsværdi

Mange forskningsresultater kan ikke genskabes, viser internationale undersøgelser. Det manglende fokus på at kunne tjekke forskningen kan føre til alvorlige fejl og skabe tvivl om forskningens sandhedsværdi, advarer eksperter. De opfordrer til mindre fokus på innovation og mere på at efterprøve forskningens validitet
En række forskere er bekymret for forskningens troværdighed, når den ikke efterprøves.

En række forskere er bekymret for forskningens troværdighed, når den ikke efterprøves.

Gorm Branderup

27. november 2017

Forskere søger efter nye og enestående opdagelser. Sådan har det altid været, men forskningens rugbrødsarbejde med at genskabe og tjekke forskningsresultater bliver ofte forsømt, viser flere internationale undersøgelser.

Og det er et problem, som svækker forskningens troværdighed, påpeger eksperter. For der er flere eksempler på, at forskning, der har skabt store overskrifter, ikke holder stik.

Et opsigtsvækkende eksempel er fra 2015. Her kom psykologisk forskning under anklage, fordi det kun var i 36 ud af 100 studier fra tre førende psykologitidsskrifter, at resultaterne i næste forsøg pegede i samme retning.

Et andet eksempel er fra 2012, hvor det viste sig, at kun seks ud af 53 internationale forskningsstudier af kræft kunne genskabes.

Og sidste år viste en spørgeskemaundersøgelse i Nature, at over halvdelen af de godt 1.500 medvirkende forskere mente, at videnskaben står i en såkaldt reproducerbarhedskrise.

Ifølge den hollandske professor Lex Bouter, der forsker i god videnskabelig praksis, er problemet, at forskerne har for travlt med at løbe efter det nyeste nye, fordi det fører til forskningsmidler og fastansættelser.

»Vi har for meget innovation og for lidt replikation,« lød det for nyligt fra Lex Bouter på en konference på Københavns Universitet om forskningsintegritet og problemer med reproducerbarhed.

Når forskerne bliver belønnet for det nyeste nye frem for at efterprøve, om et forskningsresultat rent faktisk holder, så er det med til at forme den måde, forskningen bliver udført på. Når forskerne søger efter de ’positive’ resultater, som er det, de store videnskabelige tidsskrifter vil have, så er de nemlig ofte udtryk for tilfældigheder eller sjusk. Derfor kan et foruroligende stort antal forskningsstudier ikke gentages, påpegede Lex Bouter.

Usund forskning

Den manglende reproducerbarhed har alvorlige konsekvenser for især sundhedsforskningen, mener Ole Olsen, der er seniorforsker og statistiker på forskningsenheden for Almen Praksis på Københavns Universitet.

»Her kan det føre til, at en patient bliver behandlet forkert, eller at man er med til at udvikle og markedsføre medicin, der ikke virker,« siger Ole Olsen, som mener, at det er lidt ligesom at holde sig for øjnene, når man ikke forsøger at genskabe forskning.

»Du ser ikke, at resultaterne måske ikke holder, og så bruger vi penge og tid på noget, som i virkeligheden ikke virker. I det omfang at videnskab handler om at blive klogere, bliver vi det ikke af at holde os for øjnene. Vi tror, at hvis et lille studie viser en vigtig effekt, så kan vi fortsætte, men uden reproduktion kan det føre til forkerte behandling, forkerte beslutninger og forkert ressourceallokering,« siger Ole Olsen.

En sundhedsstatistiker gjorde allerede i 1994 opmærksom på problemet med, at alt for meget sundhedsforskning ikke byggede på et tilstrækkelig solidt fundament. Før det tidspunkt blev det set som uetisk at bruge penge på at gentage forsøg, forklarer Ole Olsen.

I de senere år har større internationale reproduktionsstudier for alvor gjort forskerverdenen opmærksom på problemet. I undersøgelsen i Nature fra sidste år pegede forskerne selv på, at selektiv udvælgelse af positive resultater er den hyppigste årsag til, at forskningen ikke kan gentages. Pres for at publicere og ringe statistisk kapacitet var ifølge Nature-undersøgelsen to andre vigtige forklaringer på reproduktionskrisen.

Karrierepres

Dorthe Berntsen, der er professor i psykologi og leder af grundforskningscenteret for Center selvbiografisk hukommelsesforskning på Aarhus Universitet, mener, at den manglende reproduktion især skyldes presset for at publicere meget og hurtigt. Og konsekvensen af forskning, der ikke er blevet tjekket en ekstra gang, er vildledning frem for fremskridt.

»Når forskning ikke reproduceres, ved vi ikke, om det er sikker viden, man har skabt. Hvis forskningen ikke kan genskabes, betyder det ikke nødvendigvis, at den pågældende undersøgelse ikke var korrekt udført. Men forskning er en dynamisk proces, hvor vi langsomt kommer i dybden og bliver klogere. Forskning står altid står på skuldrene af tidligere forskningsresultater,« siger Dorthe Berntsen.

Mikkel Willum Johansen, der er lektor på Institut for Naturfagenes Didaktik, forklarer, at især grundforskning kan være svær at genskabe, fordi man endnu ikke forstår alle detaljer: »Hvis du ikke ved, hvad der er vigtigt i et forsøg, kan det være svært at genskabe.«

Men uanset om der er tale om vild grundforskning eller helt regulær anvendt forskning, så er reproduktion afgørende, mener Mikkel Willum Johansen: »At man ikke reproducerer mere, er et problem, fordi man får for stor tillid til, at man har forstået det hele. Vi risikerer at komme til at generalisere eller lave nogle konklusioner, der ikke holder.«

Professor Dorthe Berntsen fortæller, at meget forskning allerede bliver gentaget af forskerne selv via flere serier af forsøg, inden resultaterne publiceres.

»Det er den klassiske måde at gøre det på, men i dag skynder mange sig at publicere for at nå det før naboen, så du kan få artiklen i Science eller Nature. De store tidsskrifter har været med til at fremme den kultur ved at publicere meget korte artikler, der vægter det nye og sensationelle, og når du søger om forskningsmidler, er der også øget fokus på det nye,« siger Dorthe Berntsen.

Eftersom det er evnen til at få fingre i forskningsmidler, antallet af publikationer og citationer, der er karrierefremmende, trækker det alt sammen væk fra reproducerbare studier.

»Hvis du får samme resultat som i et andet studie, er der ingen, der gider høre om det. Og hvis du får et helt andet resultat, er der heller ingen, der gider høre om det, for så har du nok bare gjort noget forkert i reproduktionen af forsøget,« siger Mikkel Willum Johansen.

Åbenhed er løsningen

Løsningen på reproduktionskrisen er ifølge Lex Bouter, at der både ved rekruttering af forskere, i bevillinger til forskning og fra de videnskabelige tidsskrifters side lægges meget mere vægt på reproducerbarhed. I dag ligger for meget fokus på antal publicerede artikler i prestigefulde tidsskrifter, og hvor ofte de bliver citeret, hvilket belønner den forskning, der er ny og opsigtsvækkende, men som ikke nødvendigvis er holdbar.

»I alle forskningsprogrammer burde det være muligt at søge om penge til replikationsstudier, for det er forskningens hjerte,« siger Lex Bouter, der dog også mener, at åbenhed omkring forskernes arbejdsprocesser og negative resultater kunne være medvirkende til at løse problemet.

Inden for psykologi har undersøgelsen af den manglende reproducerbarhed i 2015 ført til øget opmærksomhed på problemet, forklarer Dorthe Berntsen.

»Psykologiorganisationer har taget problemet op, og det har ført til en lang række tiltag for at øge forskningens kvalitet. Men opmærksomheden har måske også gjort, at psykologisk forskning har fået et dårligere omdømme, end faget egentlig har fortjent.«

Mikkel Willum Johansen mener, der er behov for en anden forståelse af, hvad videnskab er, end den vi oftest får formidlet i offentligheden.

»Den grundlæggende ide om, at videnskab er en begivenhed, som kommer i Science eller Nature, er jo en myte. Videnskab er en lang proces, hvor vi langsomt bliver klogere, men det er bare ikke særligt medievenligt,« siger Mikkel Willum Johansen.

Ny publiceringsform

De førende videnskabelige tidskrifter Nature og Science har fået øjnene op for deres rolle i reproducerbarhedskrisen og har tidligere i år indført retningslinjer, der skal føre til mere åbenhed og færre tvivlsomme forskningsresultater, skriver videnskab.dk.

Torben Lund, der er lektor på Institut for Klinisk Medicin på Aarhus Universitet, mener dog ikke, at tidskrifternes tiltag med at tjekke de statistiske metoder og stille data åbnet til rådighed gør noget ved reproducerbarhedskrisen.

»Når op imod 99 procent af alle artikler, der bliver trykt, rapporterer om signifikante fund, så skyldes det enten, at forskningen ikke er ambitiøs nok, eller også handler det om, at det forventede resultat ikke fremkom i første hug. Og så leder forskerne videre, og på et tidspunkt vil de med garanti finde en interessant sammenhæng. Men sådanne fund er tilfældige. Derfor kan de ikke reproduceres, og det retter et check af statistiske metoder og deling af data ikke op på,« siger Torben Lund.

Nogle få og mindre profilerede videnskabelige tidskrifter er dog begyndt at tænke forskningspublikation på en radikalt anderledes måde, forklarer Torben Lund.

Her er det ikke resultatet af et forskningsprojekt, der er afgørende for, om det bliver accepteret. Det kaldes ’pre result peer review’ eller ’præregistering af forskning’ og betyder, at forskerne laver nogle pilotforsøg og henvender sig til tidskrifterne med en hypotese, en plan for, hvordan data skal analyseres, og hvor stort et antal testpersoner der skal undersøges.

Derefter kan de faglige bedømmere komme med ideer til at forbedre forsøget, inden det for alvor går i gang, og derefter giver tidsskriftet tilsagn om, hvorvidt det vil publicere forskningen, før resultaterne er der.

»Den metode kræver, at spørgsmålet, der stilles, er så interessant, at det ligegyldigt hvilken vej forsøget falder ud, er interessant, og det fjerner den fuldstændig oplagte problematik, at når publikationer og citater er den vigtigste møntfod i forskning, så vil især yngre forskere nemt føle sig presset til at blive ved med genanalysere data, indtil de finder en sammenhæng,« siger Torben Lund.

Men som det er nu, er der stadig mest fokus på positive resultater og den gode historie i de store videnskabelige tidsskrifter som Science og Nature, og ikke nødvendigvis på forsøg, der er grundigt tilrettelagte, mener Torben Lund.

Præregistrering kunne dog tvinge forskerne til at formulere forskningshyposer, der er mere risikable og derfor mere interessante.

»Hvis vi kun laver forskning, hvor vi er sikker på, at forsøget får et bestemt udfald, så er værdien af forskningen ikke særligt stor. Problemet er, at det tager lang tid at ændre. Til gengæld er det ikke ret svært at gøre det bedre end nu,« mener Torben Lund.

Bliv opdateret med nyt om disse emner på mail

Vores abonnenter kalder os kritisk, seriøs og troværdig.
Få ubegrænset adgang med et digitalt abonnement.
Prøv en måned gratis.

Prøv nu

Er du abonnent? Log ind her

Anbefalinger

  • Jeppe Larsen
  • Torben K L Jensen
  • Ejvind Larsen
  • Espen Bøgh
  • Anne Eriksen
  • Eva Schwanenflügel
  • Bjarne Toft Sørensen
  • David Zennaro
  • Steffen Gliese
  • lars søgaard-jensen
Jeppe Larsen, Torben K L Jensen, Ejvind Larsen, Espen Bøgh, Anne Eriksen, Eva Schwanenflügel, Bjarne Toft Sørensen, David Zennaro, Steffen Gliese og lars søgaard-jensen anbefalede denne artikel

Kommentarer

Forskning kræver solidt og langvarigt arbejde i samarbejde mellem en mindre eller større gruppe forskere. Konkurrence på forskningsområdet er meningsløst - det så vi for et par årtier siden tydeligt udfoldet, da franske og amerikanske forskere endte med at stå i vejen for en tidlig kur imod AIDS, fordi prestigen kom til at overskygge målet.
Det gælder også humaniora, at man over tid udvikler viden, der ligesom naturvidenskabens resultater afsætter sig i massesamfundet og fører til udvikling og bredere forståelse af de mentale og sanselige fænomener, der danner vores verdensforståelse.

Per Hansen, Philip B. Johnsen, Torben K L Jensen, Anne-Marie Krogsbøll, Anne Eriksen, Trond Meiring, Eva Schwanenflügel, lars søgaard-jensen og Mikkel Kristensen anbefalede denne kommentar
lars søgaard-jensen

Hvor er det godt, at der er begyndende focus på validiteten af de enkelte forskningsresultater. Der er mulighed for rigtig mange statistiske "julelege", når datasæt skal analyseres Som artiklen beskriver, så sidder forskerne, der ikke umiddelbart finder statisktiske sammenhænge i de givne data, og søger subgrupper og forsøger sig med forskellige beregningsmetoder, lige indtil der er såkaldt P-værdi altså et mål for (postuleret) sandsynlig sammenhæng.. Det er stik imod god videnskab, hvor metoden skal gennemtænkes og beskrives i projektbeskrivelsen inden data indsamles. Alt andet giver netop risiko for invalide data.
Den unge forsker til sin senior vejleder: "Der er desværre ikke sammenhænge i vores materiale. Jeg kan ikke få "P-værdi"; senior vejleder: "Så må du blive ved indtil du finder "P-værdi". Dette ordskifte hørte jeg for år tilbage på en universitetssygehusafdeling. Det skærpede mit kritiske øje på forskningens resultater samt åbnede det for hykleriet i forskningsverdenen.
Ud over disse (og mange andre) muligheder for at være "kreativ" i forskningsprocessen er der indenfor det medicinske felt behandlinger, det er så godt som umuligt at "evidensbasere" med de gængse videnskabelige (kvantitive) metoder f.eks akupunktur.

Det er ikke nødvendigt at blive videnskablig nihilist. Reglerne for god (kvantitativ såvel som kvalitativ) forskning skal bare overholdes. Dvs. man på forhånd i projektbeskrivelserne forholder sig alle valgte metoder lige fra datainsamling over frafaldsanalyser til analyse af de indsamlede data, OG holder sig til disse.

Om der er større redelighed og mindre mulighed for "kreativ" (i foghsk forstand) anvendelse af indsamlede data indenfor andre forskningsfelter, ved jeg ikke; men det er jeg dog dybt troende overbevist ikke er tilfældet. Der fifles, bøjes, udelades og konkluderes mod bedre vidende indefor alle sektorer. Det være sig indenfor pædagogikken, biologien og bestemt ikke mindst indenfor samfundsvidenskaberne. Jeg undlader at nævne økonomi, der som bekendt ikke er en videnskabelig disciplin ;)

Per Hansen, Philip B. Johnsen, Lars Steffensen, Torben K L Jensen, Anne-Marie Krogsbøll, Rolf Hansen, Anne Eriksen, Trond Meiring, Torben Skov, Bjarne Bisgaard Jensen, Eva Schwanenflügel, Bjarne Toft Sørensen og Steffen Gliese anbefalede denne kommentar
Søren Jacobsen

Det gælder f.eks. den hjemlige landbrugspakke, som der ikke var tid til at lave de nødvendige kontrolberegninger over. Men det kan faktisk overføres til alle andre forhold i samfundet. Alt bliver jappet igennem fordi alle siger det skal gå hurtigere og hurtigere. Det siger alle jo det skal. Så det skal det vel. Hel uden nogen omtanke eller reflektion af, om det over hovedet har nogen gavn og nytte og ikke er direkte skadelig - Det er sådan vores samfund er begyndt at fungere. Se mig er jeg ikke dygtig og hastigt videre til næste haste sag for igen at kunne bryste sig med se-mig-er-jeg-ikke-dygtig.

Det er en nytteløs og skadelig narcissisme kultur der er opstået.

Per Hansen, Philip B. Johnsen, Anne-Marie Krogsbøll, Anne Eriksen, Trond Meiring, Torben Skov, Bjarne Bisgaard Jensen, Eva Schwanenflügel, Kenneth Jacobsen, lars søgaard-jensen, Steffen Gliese og Kim Houmøller anbefalede denne kommentar
Børge Neiiendam

For en almindelig lægmand er tallene og konklusionerne i artiklen her meget bekymrende, omend nok ikke specielt overraskende. Selvpromovering på bekostning af seriøsitet, er konsekvensens af den ego-centrerede udvikling overalt i samfundet.

Videnskabelig innovation kan være til glæde for mange, især syge Borgere. Men når højt promoverede mediciner eksempelvis sendes på markedet, uden at reel validitet er foretaget, så kan det nye være værre end det gamle - bortset fra at det som regelen også er rasende dyrere.

"Forskerne har for travlt med at løbe efter det nyeste nye, fordi det fører til forskningsmidler og fastansættelser" siges det ovenfor. Såre menneskeligt, men meget useriøst, også - eller måske især - af de virksomheder der er motoren bag denne udvikling.

I lyset af ovenstående, er det åbenbart usædvanligt at en meget medieprofileret hjerneforsker i Danmark overhovedet blev 'opdaget' i uredelighed.

De forskere der vil snyde, kan være vanskelige at opdage, uanset lovgivning. Der er bevis for snyderi overalt i historisk tid, men hvis selv Universiteter o.lign. i nutiden, er med på vognen, fordi også deres midler forøges af penge fra virksomheder eller myndigheder der søger en bestemt løsning, valideret eller ej, så skrider hele fundamentet for tillid.

Nettet er et fundament for uærbødighed. Alt er til diskusion, validt eller ej. Den autoritet som højtuddannede nærmest automatisk havde tidligere, findes ikke længere, bare se på patienters forhold til læger. Men det kan vise sig at være almindelige Borgeres bolværk mod det flygtige og overfladiske, og måske også mod grådighed.

Philip B. Johnsen, Anne-Marie Krogsbøll, Rolf Hansen, Anne Eriksen, Trond Meiring, Bjarne Bisgaard Jensen, Eva Schwanenflügel, lars søgaard-jensen, Bjarne Toft Sørensen, Steffen Gliese og Kim Houmøller anbefalede denne kommentar

Det har været tydeligt fra begyndelsen, at hele ideen om statens noget-for-noget finansiering overalt i samfundet er en misforståelse. Staten skal kunne garantere for, at den højeste kvalitet søges opnået, uafhængig af tid, omkostning og endeligt resultat, det er selve statens opgave at være det kvalitetsstempel på aktiviteterne i institutionerne - og ikke andet! Væk med politisk dikterede krav, væk med resultatkontrakter, væk med ansat ledelse, væk med alt for store institutioner og under-institutioner, vi kan jo se, at det rent ud sagt går ad helvede til med dem, hvorimod vores ubetingede succes som samfund skyldes den grundlæggende erfaring: at småt er godt.

Børge Neiiendam, Per Hansen, Philip B. Johnsen, Anne Eriksen, Torben K L Jensen, Anne-Marie Krogsbøll, Flemming Berger, Peter Ole Kvint, lars søgaard-jensen, Trond Meiring, Torben Skov, Eva Schwanenflügel og Kenneth Jacobsen anbefalede denne kommentar
Bjarne Toft Sørensen

Den udvikling, som artiklen beskriver, må ses i sammenhæng med vare - gørelsen af alle funktioner i vores måde at indrette samfundet på. Forskningens funktion som vare er i en række sammenhænge blevet for dominerende i forhold til dens øvrige samfundsmæssige funktioner. Konsekvensen: Skidt med, om det i øvrigt fungerer, hvis ellers det sælger på markedet.

Når forskningsinstitutionernes kamp for overlevelse bliver et mål i sig selv, og det at skaffe forskningsmidler og ansættelser i for ringe grad er betinget af forskningens kvalitet, som det fremgår af artiklen, må det nødvendigvis gå galt.

Problemerne er af ældre dato, men når de i aktuelle situationer og i nye former kommer i mediernes fokus, kører den offentlige debat for en tid, hvorefter de fortrænges igen, da de er strukturelt betingede og dermed svære at gøre noget ved.

Statslige eller overnationale former for institutionel kontrol vil kun i begrænset omfang kunne løse problemerne. Forskningsverdenens egne former for selvkritik og selvjustits har større effekt, men det er jo op ad bakke, når institutioner og virksomheder i mange situationer hellere ser, at forskerne holder deres kæft og nøjes med at beskæftige sig med det, som de bliver betalt for. I nogle sammenhænge kan man vel ligefrem sige, at de i højere grad bliver betalt for at holde deres kæft end for at udføre deres forskning.
https://www.information.dk/debat/2017/10/ledelsen-paa-koebenhavns-univer...

Børge Neiiendam, Philip B. Johnsen, Lise Lotte Rahbek, lars søgaard-jensen, Steffen Gliese, Niels Duus Nielsen, Trond Meiring og Anne Eriksen anbefalede denne kommentar

Hvad og hvem skal bremse denne udvikling - denne afvikling af værdier - som også bruges til bremse for enhver innovation og ny viden, der ikke lige kan påberåbe sig den officielle forskning og evidens!

Anne-Marie Krogsbøll og Steffen Gliese anbefalede denne kommentar

Det skal bare se ud som om det er rigtigt. Det er desværre standarten i dag.
Når der lyves om hvad problemerne er, så bliver løsningerne ikke de rigtige. Og i et vedvarende forsøg på at skjule løgnene, presses der flere og flere skeletter ind i skabene.
Grådigheden og korruptionen bliver et helved at rydde op i, skulle danskerne en dag genvinde deres anstændighed.

Børge Neiiendam, Per Hansen, Niels Duus Nielsen, Philip B. Johnsen, Lise Lotte Rahbek, Anne Eriksen, Anne-Marie Krogsbøll, Flemming Berger og Steffen Gliese anbefalede denne kommentar
Søren Kristensen

Kvalitet er i det hele taget en mangelvare i disse år og det gælder hele vejen rundt. Vi sætter larmende maskiner til at feje vore gader og de tager kun halvdelen af skidtet, nemlig det der ligger lige for, mens resten i bedste fald havner i skraldespande der ligner noget der er løgn og som aldrig bliver tømt. Grundighed og håndens arbejde er gået af mode.Til gengæld er troen på digitalisering, teknologi og robotter uantastet.