Aarhus Universitet foretog ikke kvalitetstjek af omstridt oksekødsrapport: Helt skørt, mener eksperter

Kritikken af den omstridte oksekødsrapport, som Nationalt Center for Fødevarer og Jordbrug, DCA, ved Aarhus Universitet og en forsker fra DTU har lavet for Landbrug & Fødevarer, fortsætter.

Aarhus Universitet har nemlig langt fra lavet et tilstrækkeligt kvalitetstjek af rapporten, der i Information både er kritiseret for sin metode og konklusioner, men også for at Landbrug & Fødevarer fik lov at skrive hele afsnit i den.

Det siger flere udenforstående eksperter, som har set nærmere på Informations research om rapportens kvalitetssikring. De kritiserer, at rapporten hverken er fagfællebedømt eller kvalitetssikret af andre forskere inden for fagområdet, sådan som normal videnskabelig praksis ellers tilsiger. Samtidig undrer de sig kraftigt over, at universitetet tilsyneladende ikke har retningslinjer på dette område.

»Kvalitetssikringen er mangelfuld, hvis det her skal tælle som forskning. Det er uigennemsigtigt og kritisabelt,« siger Claus Emmeche, der er lektor på Københavns Universitet og ekspert i forskningsetik.

Henrik Wenzel, der er professor og centerleder ved Syddansk Universitets Livscykluscenter, kalder det manglende kvalitetstjek »enormt problematisk«.

Kvalitetssikring af forskning er nemlig afgørende for at sikre, at de resultater, der udgives, er pålidelige og troværdige, fortæller Claus Emmeche.

»Vi skal have tiltro til de resultater, som forskerne bidrager med. Den tiltro er baseret på tillid til, at de arbejder som uafhængige eksperter. Og at de ikke lader sig lede i deres arbejde af bestemte ønsker hos eventuelle aftagere. Derfor er kvalitetssikring helt basalt for den videnskabelige objektivitet,« siger han.

Fredag kunne Information afsløre, at Landbrug & Fødevarer og Danish Crown, der begge sidder i projektets styregruppe, har skrevet hele afsnit i oksekødsrapporten, samt at de står bag dens titel og forsidefoto. En lang række forskere har endvidere kritiseret oksekødsrapportens metode og konklusioner for at være så fulde af fejl, at rapporten reelt er ubrugelig. Kritikken har blandt andet gået på, at rapporten nedtoner oksekøds klimabelastning og bruger usammenlignelig og forældet data i beregningerne af nydelsesmidler og andre fødevarers klimabelastning.

’Helt skørt’

I det genmæle, forskerne bag rapporten udgav på Aarhus Universitets hjemmeside den 20. august, adresserer de selv det forhold, at deres rapport ikke er fagfællebedømt. I en fagfællebedømmelse – som også kaldes peer review – læser en eller flere uvildige forskere det videnskabelige produkt igennem for at sikre redelighed og kvalitet.

Forskerne begrunder den manglende fagfællebedømmelse med, at rapportens indhold »i vid udstrækning bygger på materiale, som allerede er publiceret i internationale, videnskabelige tidsskrifter med peer review procedure«. Derfor mener forfatterne, at metoder og konklusioner allerede er tjekket af internationale forskere, som arbejder på området.

Samme forklaring giver både centerleder Niels Halberg og institutleder Erik Steen Kristensen fra Institut for Agroøkologi på Aarhus Universitet, når de skal forsvare oksekødsrapportens videnskabelige kvalitet.

»Rapporten bygger i væsentligt omfang på forskernes egne videnskabelige artikler, der allerede var peer reviewed, og det slår på de punkter intern fagfællebedømmelse,« siger Niels Halberg.

Erik Steen Kristensens forklaring lyder, at »resultaterne i den her rapport bygger først og fremmest på forskernes egne videnskabelige artikler. Det vigtigste peer review er foregået i form af henvisning til de artikler – som jo er peer reviewed«.

Men den forklaring piller flere udenforstående eksperter fra hinanden.

»Det er helt skørt,« mener Claus Emmeche.

»Man kan sagtens som forsker, der bygger videre på en masse andet materiale, komme til bevidst eller ubevidst ’cherrypicke’, altså fremhæve noget materiale og undertrykke noget andet. Peer review-processen er med til at sikre at brugen af eksisterende forskning ikke er skævvridende,« siger han.

Henrik Wenzel påpeger, at oksekødsrapporten har alvorlige metodemæssige fejl, som ensidigt tilgodeser interesserne hos Landbrug & Fødevarer, der står bag finansieringen af projektet. Netop derfor er det med vigtigt med en fagfællebedømmelse.

»Det er universiteternes opgave at holde erhvervet fast på videnskaben på et område med så mange særinteresser og medregne altafgørende faktorer som effekterne af indirekte arealanvendelse. Denne metodefejl og udeladelsen af eksternt review er et meget uheldigt sammenfald af omstændigheder. Det er netop grunden til, at man skal have eksternt review, så vi sørger for at fange den her slags ting,« siger Henrik Wenzel.

Niels Halbergs svar på den kritik lyder, at der er tale »om kendte metodemæssige uenigheder.«

»Vi har brugt metoder, som er anerkendt på tværs af Europa. Dette fremlægges i rapporten, som blandt andet diskuterer indirekte arealanvendelse. Desuden bygger væsentlige dele af rapporten og metoderne på forskernes egne artikler, som allerede var peer reviewede, inden projektet startede. Metodevalgene i disse kan i sagens natur ikke have været påvirket af erhvervssamarbejdet i dette projekt,« skriver han til Information.

Manglende retningslinjer

En anden ting, som eksperterne kritiserer er, at Aarhus Universitet ikke har retningslinjer i forhold til netop at sikre kvaliteten af forskning, der er bestilt og eksternt finansieret af private organisationer såsom Landbrug & Fødevarer.

»Vi har ikke på institutniveau nogle nedskrevne regler for kvalitetssikring via peer review af den her type rapporter. Netop fordi forskerne udgiver resultater i så mange forskellige typer publikationer, er det forskerne selv og udgiveren, som har ansvaret for at sikre kvaliteten,« siger institutleder Erik Steen Kristensen.

Han understreger, at forskerne »i så stort omfang som muligt« tilskyndes til at udgive internationalt peer reviewed forskningsartikler for at sikre en høj kvalitet af deres videnskabelige resultater.

»De fleste af de øvrige typer udgivelser bygger videre på disse internationale peer reviewed artikler som i den her pågældende situation,« siger Erik Steen Kristensen.

De manglende regler for kvalitetssikring er dybt problematisk, mener Claus Emmeche.

»Sagen er et godt eksempel på, at universitetet er gået ind i den her type virksomhed lidt fodslæbende. At det her et område, hvor man ikke har fulgt så godt med i at sikre klare normer og standarder,« siger han.

De manglende kvalitetskrav står i direkte kontrast til, at Aarhus Universitet på andre områder stiller krav til forskning, hvor der er eksterne interesser på spil. Det gælder eksempelvis for den såkaldte myndighedsbetjening, hvor universitetet leverer forskning bestilt af offentlige institutioner.

Her står der i universitetets retningslinjer, at kvalitetssikringen enten skal foretages af en udenforstående forsker fra Aarhus Universitet eller i form af en fagfællebedømmelse. Det understreges desuden, at det af den færdige forskningsrapport »klart skal fremgå«, hvordan og af hvem den faglige kvalitetssikring er gennemført.

Der står endvidere, at disse principper også »kan finde anvendelse« ved rådgivning af andre end myndigheder. Men det er altså tilsyneladende ikke obligatorisk.

»Peer review er ikke noget, vi gør eksplicit på den her type rapporter. Fordi den jo bygger videre på andre peer reviewed artikler. Derfor er det ikke er nødvendigt, « siger institutleder Erik Steen Kristensen.

Men den forklaring undrer de eksperter, som Information har talt med, sig over. For ifølge dem er der ingen forskel på, om Aarhus Universitet leverer forskning til en interesseorganisation eller en myndighed. Samme praksis bør gælde uanset hvad.

»De to ting burde behandles på samme måde. Ligesom der på området for myndighedsbetjening kan være politiske interesser i et bestemt resultat, kan private aktører have særinteresser. Kvalitetssikringe handler om at legitimere forskningen, så ingen kan betvivle, hvorvidt den er påvirket af interesserne,« siger Maja Horst, der er professor i forskningsformidling på Institut for Medier, Erkendelse og Formidling på Københavns Universitet.

Aarhus Universitets manglende retningslinjer virker derfor mest af alt som »et hul i reglerne om sikring af videnskabelig kvalitet«, mener Claus Emmeche.

»Det er helt klart et område, man bør diskutere på baggrund af den her sag,« siger han.

Misbrug af fagfællebedømmelse

Det har da også været svært for Aarhus Universitet at svare Information på, hvad praksis egentligt er, når det kommer til kvalitetssikring af den forskning, universitetet sender ud i offentligheden.

Da Information første gang kontaktede centerleder Niels Halberg, forklarede han, at rapporten faktisk har gennemgået en »intern fagfællebedømmelse«. Forskerne har ifølge ham bare glemt at skrive i rapportens forord, hvordan dette foregik, og hvem der har foretaget fagfællebedømmelsen.

»Du har ret i, at man ikke kan læse i rapporten, hvem der har lavet den her interne fagfællebedømmelse. Og det, synes jeg, er dumt. Det er ærgerligt, for det bør stå der, så den kritik vil jeg gerne anerkende. Det havde været kønt, hvis det stod der,« sagde han, som er direktør for det center, der står bag udgivelsen af rapporten.

Han henviste efterfølgende til en forsker på Institut for Agroøkologi ved Aarhus Universitet, som angiveligt skulle have ageret »intern fagfællebedømmer på arbejdet«.

Da Information kontakter forskeren, afviser han dog alle påstande om, at han har været fagfællebedømmer på den omtalte rapport. Direkte adspurgt om han har læst hele rapporten igennem, som man normalt ville gøre i en fagfællebedømmelse, lyder hans svar: »Nej.«

»Jeg har diskuteret forskellige aspekter undervejs. Det er på det plan, det er foregået,« uddyber han.

Medforfatter til rapporten, seniorforsker emeritus John E. Hermansen fra Aarhus Universitet, erkender også, at rapporten »ikke er fagfællebedømt efter nogle bestemte retningslinjer«. Han mener i modsætning til sin centerleder, at det havde været forkert at skrive i rapporten, at den er fagfællebedømt. For det er den ikke, understreger han.

»Derfor har vi ikke skrevet det i forordet. Det havde jo været et problem, hvis vi havde skrevet det,« siger han og tilføjer, at han har kollegaer, der har læst rapporten. Han vil dog ikke fortælle hvem.

»Vi har ikke behov for at tørre jeres kritik af på andre,« siger John E. Hermansen.

Da Information konfronterer Niels Halberg med, at hans kollegers forklaring modsiger hans, lyder svaret: »Jeg mener, det er en strid om ord. Min opfattelse er stadig, at der er flere kolleger i de pågældende forskergrupper, som har givet faglig kritik på den del af arbejdet, som ikke allerede var publiceret i forskernes egne internationale publikationer. Men vi skal forbedre disse kvalitetssikringsprocesser af forskningsrapporter, og hvordan dette dokumenteres.«

På baggrund af ovenstående beskrivelse mener Claus Emmeche, at Niels Halberg »misbruger« termen ’fagfællebedømmelse’.

»En fagfællebedømmelse er ikke en lokal kollega, der giver interne kommentarer,« siger han.

Generelt er ideen om, at et institut selv kan fagfællebedømme sine videnskabelige produktioner »meget problematisk«, mener Claus Emmeche.

»Det er ikke ideen, der ligger i begrebet peer review. Det vigtige er, at det er udenforstående uafhængige eksperter, altså peers, der har viden inden for det samme fagområde. Så undgår man, at personlig bias og relationer kan spille en rolle.«

Selv hvis den interne kvalitetssikring var sket, mener Henrik Wenzel fra Syddansk Universitet ikke, at det ville være tilstrækkeligt på den her type rapporter.

»Når det handler om oksekøds klimabelastning og livscyklusanalyser, som er så debatterede emner præget af så mange partsinteresser, så bør man sikre, at der er foretaget eksternt review. Emnet er så samfundsmæssigt væsentligt, at man skal sikre sig langt bedre, end det har været tilfældet her. Man forvirrer beslutningstagerne og sætter troværdigheden af metoderne på spil,« siger han.