Statistikprofessor Svend Kreiner retter nu en hård kritik mod den redegørelse, som Undervisningsministeriet har fået udarbejdet som svar på Kreiners kritik af PISA-testen.
»For det første overser de fuldstændigt vigtige ting i vores artikel og kritiserer, at det ikke er dér, selv om det netop er dér. For det andet beskriver de vores analyser som baseret på et spinkelt grundlag uden at fortælle, at Pisa har lavet tilsvarende analyser på et endnu mere spinkelt grundlag,« siger Svend Kreiner.
Undervisningsministeriet har bl.a. bedt den islandske PISA-ekspert Júlíus K. Björnsson om at udarbejde en ekspertgennemgang af kritikken. Ministeriet har også anvendt et notat fra den svenske professor i uddannelsesstatistik Jan-Eric Gustafsson om kritikken. I notaterne tilbagevises Kreiners kritik på en række punkter, og Kreiner kritiseres bl.a. for at have et for spinkelt datagrundlag.
Svend Kreiner kalder det tankevækkende, at de to statistikere ikke er kommet med nogen indvendinger før nu. De har nemlig begge ifølge Kreiner kendt til resultaterne i flere år.
»Júlíus Björnsson overværede generalprøven på mit foredrag i 2010, som blev holdt i Undervisningsministeriet. Dengang var han enig i, at der var noget galt,« siger Kreiner og fortsætter:
»Han overværede også det foredrag, jeg holdt i et survey-selskab sidste november. Han var med til at kommentere det, men havde ingen af de indvendinger, han nu kommer med.«
»Derfor er jeg lidt overrasket over det, jeg kan læse i hans vurdering. Det er første gang, jeg hører det fra ham.«
Tilfældig rangorden
Det skabte en del debat, da statistikprofessor Svend Kreiner i 2011 og derpå i sommer langede ud efter PISA-undersøgelserne. Ifølge Kreiner kan testen ikke bruges til at sammenligne elevers faglige niveau på tværs af lande. Årsagen er, at undersøgelsen bygger på en metode, som gør rangordningen af lande tilfældig, mener Kreiner.
Men den kritik er ikke velunderbygget, mener altså Júlíus K. Björnsson, der i sit notat påpeger, at Kreiners datamateriale er for spinkelt. Men det er helt forkert, siger Kreiner: »Vi laver en analyse på godt 30.000 elever. Det er første gang i mit 50-årige liv som statistiker, at jeg har hørt, at det skulle være et ’spinkelt’ datamateriale.«
Svend Kreiner påpeger, at PISA selv laver tilsvarende undersøgelser på et endnu spinklere datagrundlag.
Ifølge Kreiner bruger PISA 15.000 elever, der i gennemsnit har svaret på otte opgaver, mens hans eget grundlag er 30.000, som har svaret på 20 opgaver. »At kalde vores analyse for spinkel, samtidig med at Pisa laver analyser på et datagrundlag, der er meget mindre, er langt ude. Og det nævnes ikke med et ord i de to notater. Gjorde de det, ville hele deres argumentation falde helt til jorden.«
Har ikke læse alt
Svend Kreiner undrer sig desuden over, at Björnsson og Gustafsson »tilsyneladende kun har læst en dele af artiklen«. Kreiner kritiseres således for blot at have analyseret dele af datamaterialet for 2006, men det er ikke korrekt, siger Kreiner: »Vi har lavet analyser på hele datamaterialet for 2006, det har Björnsson bare overset.«
Ifølge Kreiner er det heller ikke korrekt, at han ikke har taget højde for usikkerheden i egne beregninger.
»Vi har gjort meget ud af usikkerheden, og vi drager ingen konklusioner i artiklen, før vi har taget stilling til usikkerheder. Det er dybt besynderligt, at vi så skal læse, at vi ikke engang siger, at der er usikkerhed i vores beregninger,« siger Svend Kreiner.
»Jeg har en fornemmelse af, at de har valgt det ud, som de synes, de kan skyde på. De andre ting lader de, som om ikke er der. Det er for underlødigt.« Da undervisningsminister Christine Antorini (S) i går præsenterede resultaterne af den seneste PISA-undersøgelse fra 2012, var det uden at nævne den vanlige placering af Danmark i forhold til andre lande. Oven på Svend Kreiners kritik af rangeringen, har ministeriet nu valgt at holde sig til at omtale, hvorvidt Danmark ligger over eller under gennemsnittet i OECD.
Svend Kreiner kalder det »et stort fremskridt«, selv om ministeriet kunne »besinde sig endnu mere«.
»Det løser ikke det fundamentale problem, som er, at placeringen af Danmark i højere grad afhænger af de opgaver, som man har puttet ind i testen, end af læsefærdigheden,« siger Svend Kreiner, der svarer kort og kontant på spørgsmålet om, hvorvidt det så giver mening at sige, om Danmark ligger over eller under OECD-gennemsnittet: »Næh. Hvis man havde gjort det på en lidt anden måde, lå vi måske under.«
