Professor: 'Vis mig dokumentation'

Det tager ham kun en eftermiddag for at se, at den er helt skæv.

Professor i statistik ved Københavns Universitet Svend Kreiner har gransket svarene fra de 380.000 elever verden over, som deltog i den del af PISA-undersøgelsen fra 2006, der handler om læsning.

Hurtigt gik det op for ham, at der var enkelte spørgsmål, som danske elever tilsyneladende havde betydelig lettere ved at svare på end deres kammerater i andre lande.

Svend Kreiner har ikke haft adgang til de tekster, der ligger til grund for opgaverne de hemmeligholdes for at undgå snyd. Men han er ikke i tvivl om, at både sproglige og kulturelle forskelle gør det umuligt for OECD-folkene bag PISA-undersøgelserne at leve op til løftet om, at opgaverne har samme sværhedsgrad verden rundt.

»Det er ganske enkelt fejlagtigt, når man påstår, at opgaverne har samme sværhedsgrad. At afkode kinesiske tegn er noget ganske andet end at læse alfabetet. Når den statistiske model er så usikker, er der ingen garanti for, at der kommer noget fornuftigt ud af undersøgelserne,« siger han.

Meningsløst

PISA-undersøgelsen gennemføres hvert tredje år og omfatter læsning, matematik og naturfag. Men i to ud af de tre fag har kun halvdelen af eleverne rent faktisk svaret på opgaverne resten af svarene er genereret af en computer. Det sker på baggrund af blandt andet elevernes sociale baggrund og rigtigheden af deres svar i de øvrige fag. Og det er en helt uholdbar metode, mener Svend Kreiner.

»Vi har ingen dokumentation for, hvordan de kunstige svar genereres, eller om de statistiske modeller holder i virkeligheden. Det kan være kvalificerede gæt, men alene det, at man begiver sig ud i gætteri, er både overflødigt og meningsløst,« siger han.

Ifølge Svend Kreiner er de tekniske baggrundsrapporter, der ledsager PISA-undersøgelserne, slet ikke fyldestgørende.

»Der er en del helt irrelevante tabeller, mens der mangler svar på en række centrale spørgsmål. Vis mig dokumentation,« lyder kravet fra Svend Kreiner.

Han peger endvidere på, at lærerne for de 15-årige, der deltager i PISA-undersøgelserne, ikke ved, hverken hvad eleverne bliver spurgt om, eller hvad de svarer. Dermed har underviserne ikke en chance for at vide, hvor der bør sættes ind for at forbedre resultaterne.

»Der er ingen pædagogiske vitaminer i den test overhovedet. Det er en væsentlig anke.«

Men Svend Kreiners væsentligste indvending er den store indflydelse PISA-rapporterne har haft i Danmark, hvor politikerne står i kø med nye initiativer, hver gang vi ikke scorer godt nok.

»Det ulykkelige er, at politikerne og pressen har brugt de sidste 10 års PISA-rapporter til at nedgøre den danske folkeskole. Det er rablende vanvid, hvis man ellers ønsker et godt samarbejde mellem skolen og samfundet,« siger han.

Aner intet

Foreløbig har formanden bag det danske PISA-konsortium Niels Egelund indvilliget i at mødes med Svend Kreiner for at drøfte metoder og validitet af PISA. Ifølge Svend Kreiner var det dog ham, der måtte forsyne de danske PISA-folk med listen over de spørgsmål, hvor danske elevers svar skiller sig ud enten positivt eller negativt. Og det undrer ham:

»Hvordan kan de være i tvivl om det? De har haft 10 år til at sætte sig ind i tingene. Det siger mig, at PISA-folkene intet aner om, hvilke opgaver der fungerer og i hvilke lande.«

Statistikprofessoren har brugt de foregående måneder på at færdiggøre en forskningsartikel, der nu er ved at blive vurderet til optagelse i det internationale tidsskrift, Journal of the Royal Statistical Society.

Andreas Schleicher, leder af OECD's analyseafdeling, der står bag PISA-undersøgelserne, har indtil videre afvist Svend Kreiners kritik med den begrundelse, at professorens metoder er mangelfulde.

OECD vil kommenterer Svend Kreiners konklusioner yderligere, når artiklen er blevet publiceret.