I starten troede Marco van de Weert, han var ved at blive skør. Som lektor i farmaci på Københavns Universitet havde han fået en henvendelse fra et videnskabeligt tidsskrift om at ’reviewe’ en artikel, dvs. kvalitetstjekke den før publicering. Men der blev ved med at være noget, der ikke gav mening i artiklen, der handlede om en særlig teknik til analyse af binding mellem molekyler. Forskerne bag artiklen henviste til metoder og analyser beskrevet i andre artikler, og det gjorde blot Marco van de Weerts undren større.
»Jeg kunne ikke forstå, hvad forfatterne til artiklen havde gjort,« siger Marco van de Weert.
Han spurgte en kollega til råds, som mente, at artiklen var helt gal på den. Én fejlagtig artikel er, hvad der kan ske, men da Marco van de Weert så nærmere på artiklens henvisninger, gik de samme fejl igen.
»Da jeg fandt ud, at fejlen gik igen også i ’gode’ tidsskrifter, blev jeg faktisk lidt sur. Det gav jo ingen mening, at de reproducerer den samme fejl,« siger Marco van de Weert og påpeger, at nogle af de fejl, som blev gentaget, var i strid med helt basal viden i fag som almen og uorganisk kemi på farmaceutstudiet.
»Jeg har sagt til studerende på tredje år, at hvis de laver den samme fejl, så dumper de, fordi det burde være triviel viden for dem på det tidspunkt,« siger Marco van de Weert.
Da han havde fundet simple regnefejl og grundlæggende misforståelser i mere end 150 videnskabelige artikler, besluttede han skrive en artikel om problemet og sende den til tidsskriftet.
»Jeg tror, der er områder, hvor der på en eller anden måde er gået noget galt i fødekæden i forhold til forskningspublikationer. Måske handler det om hurtige publikationer, men det er stadig så basale fejl, at jeg ikke forstår, de kan blive gentaget. Mange af artiklerne kommer også fra forskere i Kina og Indien, så spørgsmålet er også, om der har været et kommunikationsproblem,« siger Marco van de Weert, som dog ikke ser lignende problemer på sit eget forskningsområde.
Mindre kontrol
At forskerne i stigende grad tildeles midler på baggrund af, hvor mange forskningsartikler de producerer, kan dog også have stor betydning for, hvor mange fejl der opstår. Marco van de Weert peger på, at kinesiske forskere er fuldstændig afhængige af, hvor meget de publicerer.
De videnskabelige tidsskrifter har generelt et stigende problem med dalende kvalitet i forskningsartiklerne, fordi forskere verden over tildeles midler efter, hvor meget de publicerer. Desuden er mængden af forskningsartikler steget markant på grund af øget forskningsproduktion i særligt Indien og Kina. Samtidig er det blevet sværere at finde fagfolk til at kontrollere indholdet.
Resultatet er, at der bliver publiceret dårligere og i værste fald mere uredelig forskning. Den faldende kvalitet betyder, at et stigende antal videnskabelige artikler trækkes tilbage. Flere af de omkring 25 tidsskrifter, hvori Marco van der Weert fandt fejl har dog hverken fået de fejlagtige artikler rettet eller trukket tilbage, selv om Marco van de Weert allerede skrev den første artikel om ’dårlig forskning’ for halvandet år siden.
Spørgsmålet er, hvilke konsekvenser fejlene i den videnskabelige litteratur har.
Marco van de Weert vurderer, at det har omfattende konsekvenser for forskningen, at det bliver sværere at skelne mellem rigtigt og forkert. Men problemet rækker ud over forskningen.
»Visse af de her stoffer bruges i lægemidler. Derfor kan fejlagtige analyser af dem give en fordrejet idé om, hvordan de virker i kroppen, hvis de data, der er at finde i den videnskabelige litteratur, ikke er korrekte,« siger Marco van de Weert.
Marco van de Weert mener, det primært er kvalitetskontrollen af forskningen, den er gal med. »Så mange fejlagtige artikler må betyde, at der også er en del forskere og peer reviewere (dem, der vurderer forskingsartiklernes kvalitet, red.), der mangler viden og evner, eller som simpelthen ikke er omhyggelige nok med at tjekke artiklerne efter,« siger han.
Sund skepsis
Men selv om det er vigtigt at få belyst omfanget af fejlagtige artikler, har Marco van de Weerts dokumentation af fejlene ikke været lige populær. I et af de tidsskrifter, der havde publiceret flest artikler med fejl, blev hans artikel om problemet afvist med henvisning til, »at de beskrevne fejl var velkendte«.
Lektoren i farmaci mener, at den bedste kur mod det stigende antal fejl er en sund skepsis over for forskning.
»At publicere en videnskabelig artikel skaber ikke nogen ny sandhed. Det er først, når artiklen bliver citeret og forskningsresultaterne gentages af andre, at sandheden opstår, derfor skal man altid være skeptisk over ny forskning,« siger Marco van de Weert.
Information beskrev i august sidste år, hvordan antallet af forskningsartikler er steget markant, samtidig med at det er blevet sværere at finde fagfolk til at kontrollere artiklernes indhold: http://www.information.dk/276066
Kommentarer
det som er fejl i visse sammenhæng,kan ligeså let være en løgn i andre sammenhæng, for resultatet er det sammen, - fejlen/løgnen bliver til sandhed. Derfor synes jeg at flere peer-reviewer/journalister som Marco van de Weert, skal være mere kritiske overfor det materiale de behandler.
Denne kommentar er anbefalet af:
Lige så lemfældig som peer-review processen har været på dette område, kan denne på andre områder være over-striks.
Når det gælder “ideologiske” emner, såsom historie, filosofi, teologi, politisk teori, samfundsfag, økonomi m.m., er der altid nogen der har paraderne oppe. Der er holdninger der dømmes forkerte. Der er forskningsteser der er uantagelige. Der er overvejelser, der ikke må gøres — eller i det mindste ikke publiceres.
Med andre ord. Der er forskning der ikke må og kan gøres i “videnskabeligt” regi. Det vil ikke blive anerkendt til publicering. Hvis noget inopportunt fremsættes til kollegial bedømmelse, en den kollegiale afvisning massiv. Ligeså er de faglige tidsskrifter dybt afvisende.
Det er en mekanisme til at hindre fri forskning. De enkelte forskere, institutter, universiteter, publikationer, forlag, vil opleve modgang og negative konsekvenser hvis de fremturer. Resultatet er åbenlyst. Kollegialt rygklapperi sikrer status quo, og holder kritiske forskere og forskning på lang afstand.
Disse metoder til repression står i stærk kontrast til videnskabelig metode.
Denne kommentar er anbefalet af:
“Stol aldrig på en forskningsartikel”, eller på avisartikler.
De kan begge være behæftet med fejl, men at stille det op som et “aldrig”, mener jeg er en fejl.
Og endelig kan man da glæde sig over at der stadig er menesker som har fornuft nok til at stille spørgsmålstegn ved noget der virker utroværdigt eller fordrejet.
Denne kommentar er anbefalet af:
Jeg kan sagtens forestille mig, at der kan være et problem, som artiklen beskriver. Det viser sig jo også lidt for tit, at de samme fejl går igen fra den ene lærebog til den næste, der beskriver samme emne.
Omvendt kender jeg til en forskningsartikel, der først blev afvist af tidsskriftet som fejlagtig, og hvor det nok skyldtes, at “reviewerne” tog fejl.
Derfor hellere risikere fejl i forskningsartikler end risikere at der aldrig kommer ny viden frem. Kurven over ny viden er jo alligevel aldrig en ret linie.
Så fik vi syn for sagn: at gøre forskningens finansiering afhængig af et output lader sig ikke gøre. Forskning er forskning - og anvendelse af resultaterne skal ligge et helt andet sted.
Forskning kan kun lade sig gøre på tilstrækkeligt niveau, når der er tale om fastansatte forskere, forbundet med kolleger i internationale netværk med konference- og publiceringsvirksomhed, hvor informeret og uhildet diskussion kan foregå. Sådan var det, sådan skal det blive igen. Kanske, at der så bliver færre, der har lyst til at deltage på de konditioner - dem om det.
Denne kommentar er anbefalet af:
Et af problemerne er “review” processen.
At være “referee” er et ulønnet og anonymt job, som der stort set ikke kommer nogen anerkendelse af. Man accepterer det stort set kun fordi, man også gerne vil have. at tidskriftet kan finde en ‘referee’ til eens egne artikler - en slags ‘offentligt’ ombud.
Men der kommer flere og flere videnskabelige tidskrifter ud og derved bliver der brug for flere of flere “referees”. Så må tidskrifterne dykke ned i bunken efter mere uerfarne forskere og derved daler kvaliteten selv sagt.
Jeg havde en længere korrespondence med et af de største videnskabelig forlag om dette, da een af min artikler var blevet afvist af en ‘referee’, som ikke engang kunne sin folkeskolekemi. Vi blev enige at frolaget burde kvalitetskontrollere ‘referees’, og det stod klart at en eller anden form for aflønning ville kunne løfte kvaliteten.
P.S. Jeg “reviewer” ca en artikel om måneden - det går der hver gang en god del af en weekend med -Uafønnet akademikeroverarbejde!
Denne kommentar er anbefalet af:
Bo Larsen, du peger virkelig på et problem også dér: det er skammeligt, at der ikke er penge i at publicere videnskabelige artikler og bøger! Alt muligt skrammel kan godt give en indtægt, men kvalificeret og vederhæftig litteratur skal forlagene betales for at udgive.
Denne kommentar er anbefalet af:
Jeg tror alle som har beskæftiget sig med naturvidenvidenskabelige artikler er falder over nogle stykker hvor der hverken er hoved eller hale i indholdet.
Typisk er det statistiske arbejder helt i skoven og metodebeskrivelserne mangler det halve.
Men de fleste læser jo bare reviewet..
Denne kommentar er anbefalet af:
Det er ikke kun i forskning fra asien, som artiklen er inde på, at der er grove fejl i videnskabelige undersøgelser.
Fx møder nyere dansk forskning fra Kræftens Bekæmpelse stærk kritik fra andre forskere, som dels sætter spørgsmålstegn ved, om peer review fungerer godt nok og dels kræver, at British Medical Journal (BMJ) trækker den stærkt kritiserede (fejlbehæftede) undersøgelse tilbage, som de har publiceret for Kræftens Bekæmpelse.
Indtil videre har BMJ ikke reageret på kritikken.
Forskernes indvendinger kan læses her:
http://www.bmj.com/content/343/bmj.d6387?tab=respo…
http://communities.washingtontimes.com/neighborhoo…
http://www.powerwatch.org.uk/news/20111021-danish-…
Denne kommentar er anbefalet af:
Æhhhh. Kære debatholder.
Stol aldrig på en artikel er vel knappest et cencurværdigt argument?!
Jeg vil i den forbindelse anbefale Edward Herman & Noam Chomsky, The propaganda model. Et populistisk udgave findes her:
http://www.informationclearinghouse.info/article64…
I 2012 er forskningen i DK blevet tildelt næsten 1 mia.
Efter Deadline viste DR2 i aften en glimrende dokumentar, hvor en ung sort journalist undersøgte baggrunden for den racebaserede intelligensforskning. Det var strålende, afslørende, oplysende, progressivt.
Denne kommentar er anbefalet af:
Efter Deadline viste DR2 i aften en glimrende dokumentar, hvor en ung sort journalist undersøgte baggrunden for den racebaserede intelligensforskning. Det var strålende, afslørende, oplysende, progressivt.
I denne artikel fremhæves Kina og Indien. Det er næppe noget tilfælde at de to største “emerging” lande også ligger højt på listen over korrupte samfund. Når man dertil lægger det politiske pres, der er for at søge international anerkendelse og prestige, i dette tilfælde i kraft af videnskabelige fremskridt, så forstår man dynamikken bedre. Den er såmænd ikke så forskellig fra de bonus drevne “resultater”, der har undermineret tilliden til det internationale finanssystem.
Denne kommentar er anbefalet af:
så meget mere grund er der jo til at arbejdsmidlerne: banker, fabrikker, jorder
gøres til alle menneskers ligelige fælleseje;
for det må vel så også muliggøre at alle mennesker så derfra opnår et bedre udsyn:
også mht. verdens sande “tilstand”
at proletarerne har, også som praksis, ret til at kontrollere også videnskaben.
–––––––-
tilføjelse:
ikke for at antyde at de oprindelige grunde til at gøre bankerne, fabrikkerne, jorderne
til alle menneskers ligelige fælleseje , ikke var rigelige, for det var og er de.
Denne kommentar er anbefalet af:
Det er en tåbelig overskrift, artiklen har.
Man skal aldrig sige aldrig.
De mange problemer med peer review kunne i øvrigt godt berettige en betydelig mere dybtgående analyse.
Denne kommentar er anbefalet af:
Om forskningsartiklers troværdighed.
Jeg har i mange år interesseret mig for forskning i tungmetalforgiftninger, og indenfor dette felt er det horribelt, hvor mange fejl der er.
Læger leder efter tungmetallerne dér hvor de ikke findes, - kender ikke til forskel på blodets halveringstid og kroppens elimineringstid, - kender ikke til tungmetallers halveringstider, - til tungmetallers omsætning og udskillelse af organisme, - til de veje, hvorpå tungmetaller kan komme ind i organismen, - til deponeringssteder for tungmetaller i organisme eller til hvordan disse tungmetalforgiftninger diagnosticeres.
Alt dette til stor skade for de mennesker, som måtte være tungmetalforgiftede og som ikke får deres lidelse diagnosticeret og dermed heller ikke behandlet.
Ovennævnte fejl skyldes formentlig en kombination af uvidenhed, gammel fejlagtig viden som cirkulerer samt store industrielle interesser i at tabuisere den stadigt tiltagende tungmetalforurening af befolkningen.
Egentlig ville det være mere rammende at skrive “stol aldrig på en artikel”….
Denne kommentar er anbefalet af:
Gør som gårsdagens Google-celebrity, Niels Steensen: stol ikke på nogen tekst, nogetsteds.
Mere end 350 år efter Steno tog konsekvensen af datidens forhold, må man konstatere, at mekanismer der skulle troværdighed, har fejlet. Peer review, den årvågne presse, det oplyste menneske, …
Denne kommentar er anbefalet af:
”Stol aldring på en forskningsartikel”. Overskriften er for langt ud. Jeg har oplevet noget, der kan giv anledning til at hævde ”Stol ikke altid på et peer-review”. Jeg sendte fornyeligt en forskningsbaseret artikel til et tidsskrift, der blev kontrolleret af tre uafhængige referees. En af dem godkendte artiklen endda med bemærkninger at forfatteren var velbeværtet i stofområdet. Den anden havde fuldstændig misforstået kundskabsobjektet og argumentet i manuskriptet og anbefalede at artiklen skulle inddrage et par andre emner eller aspekter før offentliggørelsen, som overhovedet intet havde at gør med min Abstract. Den tredje mente at jeg skulle præsentere alle de procenter i tabeller, som jeg havde med i den oprindelige manus, men efter instruktion fra redaktøren af pladsmærssigt hensyn havde afskaffet i den 2.udgave, som egentlige blev sendt til referees.
To af dem havde ingen bemærkninger om mit sprog (engelsk) men én mente at nogle sætninger var alt for lange og manus krævede en ordentlige sporlige revision. Der er vist gået meget inflation i antal af faglige tidsskrifter og kvalitet i peer-review virksomheden er dalende. Men ligesom demokratiet som den bedste styreform - for vi har ikke noget bedre – er peer-review, lønned eller ulønnede, stadig den bedste måde at kontrollere videnskabelige kvalitet eller hæderlighed. En fejlbedømte artikel – før eller senere – vil altid komme i søgelyset som denne artikel i Information bevidner til.
- TIP: check hvem der har financieret det viddenskabelige arbejde - skal angives i artiklerne
hvad angår Kræftens bekæmpelse (se kommentar fra Thomas Grønborg ovenfor) så er deres “forskning” i mobilstråling hovedsagligt fininacieret af mobilindustrien -; så kan det vel ikke undre at bla. WHO finder deres forskning ubrugelig og at ledende forskere kræver ders artikler trukket tilbage. Kun kan det undre at danske medier så ukritisk citerer Kræftens Bekæmpelse, når KB proklamerer at “bedste resultater til dato” afviser at mobilstråling kan give cancer- KUN ET HALVT ÅR EFTER AT WHO har opgraderet mobilstråling til muligt kræftfremkaldende.
Kritisk uafhængig presse?????
Denne kommentar er anbefalet af:
Peter Hansen:
Angående “Race and Intelligence: Sciences Last Taboo”
Så vidt jeg ved er det almen viden (indenfor psykologi), at der er et intelligens-hierarki mellem racer. Og en forskel mellem mænd og kvinder: Mænd har større spredning, mens kvinder samler sig omkring 100. Gennemsnittet for begge køn er næsten det samme.
Men min viden om kognitiv psykologi, gør mig ikke til ekspert i emnet. Jeg ved ikke nok til at afvise eller godkende intelligensbegrebet (IQ eller G).
Det der irriterer mig er, at andre ikke-eksperter på forhånd afviser intelligensbegrebet, på trods af at de ved endnu mindre end jeg. Man får den tanke, at deres opfattelse bygger på ideologiske og normative grunde.
Det gælder f.eks. politikere, “mangfoldighedsforskere” og pædagoger (der er blevet hjernevasket på seminariet i antagelser om at alt er miljøbetinget, men aldrig har lært kritisk sans og videnskabelig metode).
Fra forskning til faktura.
Videnskabelige tidsskrifter oversvømmer verden, og vi bilder os ind, at der skabes så megen ny viden, at den er helt uoverskuelig.
Sagen er, som der jo også står, at når forskningen ikke har øget solid viden som formål, men alene er et spørgsmål om cv og faktura, så produceres der materiale af dårlig kvalitet.
Faren ved dette er formentlig noget større end faren ved terror. Den ene er underdrevet den anden overdrevet - begge drevet af den samme form for grådighed som drev verden ud i dårlige bankkreditter, luftpenge og finanskrise. Ofrene er de samme. Skatteborgere, sultne børn og syge gamle mennesker. De svageste af disse betaler med livet i et omfang, der næsten - næsten får 2. Verdenskrig til at ligne en søndagsudflugt.