Ny afsløring: PISA-resultater er baseret på gætterier

Når resultaterne af de profilerede PISA-undersøgelser offentliggøres, er halvdelen af svarerne i to ud af tre fag lavet af en computer. Rent gætteri og helt uanstændigt, siger to professorer i statistik
Når resultaterne af de profilerede PISA-undersøgelser offentliggøres, er halvdelen af svarerne i to ud af tre fag lavet af en computer. Rent gætteri og helt uanstændigt, siger to professorer i statistik
15. april 2011

'Tilbagegang i matematik'.

Sådan lød en overskrift, da den seneste PISA-rapport sidste år blev offentliggjort, men det er stærkt tvivlsomt, om der er hold i den konklusion. En meget stor del af svarene er nemlig beregnet af en computer ud fra teoretiske antagelser, og dermed gemmer der sig en betydelig usikkerhed bag resultaterne af den internationale undersøgelse af skoleelevers faglige kunnen. Det var kun halvdelen af de ca. 6.000 elever, der havde svaret på eksempelvis matematikopgaverne, og for at få en svarprocent på 100, lader man en computer generere de resterende svar. Det er normal praksis i to ud af de tre fag, som en PISA-undersøgelse omfatter.

»De kunstige computergenerede svar er gætteri. Det kan være, det er kvalificeret gætteri, men vi aner det ikke,« siger statistikprofessor Svend Kreiner fra Københavns Universitet.

Peter Allerup er professor i statistik ved Danmarks Pædagogiske Universitetsskole, og han kalder PISA's metode 'hul i hovedet': »Det er nogle statistikeres gæt på resultater. Når omfanget er så stort, er det alvorligt.«

Helt uacceptabelt

Ifølge Peter Allerup er ubesvarede spørgsmål uundgåelige, eftersom eleverne enten ikke kan svare eller ikke har den fornødne tid.

»Men man genererer svar i opgavehæfter, som eleverne aldrig har set. Det er uanstændigt og helt uacceptabelt,« siger han.

PISA-undersøgelserne gennemføres hvert tredje år, og hovedvægten lægges skiftevis på matematik, naturfag eller læsning. I hovedfaget har alle eleverne fået opgaverne, mens kun halvdelen får spørgsmål i de to øvrige fag. Alligevel tildeles alle elever scorer i alle tre fag.

Professor Niels Egelund er formand for det danske PISA-konsortium. Han betoner, at det ville tage syv timer i stedet for de nuværende to, hvis alle elever skulle køres gennem hele testbatteriet.

»Resultaterne er ikke 100 procent præcise, men tæt på,« siger han.

Ifølge Niels Egelund baserer de computerskabte resultater sig blandt andet på elevernes sociale baggrund og på, hvordan eleverne klarer sig i de øvrige fag.

»Den dygtige elev er som regel dygtig til hele. At man eksempelvis er dårlig i matematik og naturfag, men god til dansk, er typisk en myte,« siger Niels Egelund.

Prøv Information gratis i 1 måned

Klik her

Allerede abonnent? Log ind her

Forsiden lige nu

Anbefalinger

Kommentarer

Brugerbillede for Karsten Jachs

Forældre bør opfordre deres børn til at udøve civil ulydighed i form af pisatest boykot. Eksempelvis ved at belønne besvarelser med 0% korrekte svar (hvilket er stort lige så let/svært som at gå efter 100%).

anbefalede denne kommentar
Brugerbillede for Søren Lom

Det bliver tydeligere og tydeligere at Pisa undersøgelserne er et politisk redskab som kan bruges til hvad politikerene nu syntes. De er ikke et fagligt værktøj til at kvalificere undervisningen. I Danmark er de jo tydeligvis blev brugt i en racistisk sammenhæng, for at vise at tosprogede elever er nogle tumper.
Som sædvanlig siger statistik mere om opgavestilleren end om opgaven.

anbefalede denne kommentar
Brugerbillede for Anne Marie Pedersen

Det er altså ikke ny viden. Det har jeg fx skrevet et indlæg om her på information.dk for ret lang tid siden. Men ja. Det er hul i hovedet.

Man kan godt mistænke folkene bag PISA for at have konstrueret en test med så mange statistiske finurligheder, så stort set ingen forstår den. Og derfor kan ingen kritisere den. Det har de i følge designerne ikke kompetencer til.

Måske skulle vi gå tilbage til de tider, hvor det var lærerne, der var eksperter på skolebørns læring.

anbefalede denne kommentar
Brugerbillede for Nis Jørgensen

Det er muligt at der er noget galt med testdesignet. Men beskrivelsen af hvad man gør (genererer svar og rapporterer på baggrund af dem), og hvorfor ("for at få en svarprocent på hundrede") er så langt fra normal statistisk praksis og sprogbrug, at der må ligge noget andet bag.

Peter Allerups henvisning til ubesvarede opgaver pga manglende evner og tid virker komplet irrelevant i forhold til min læsning af resten af artiklen, hvor der er tale om at eleverne ikke udsættes for opgaverne.

anbefalede denne kommentar
Brugerbillede for Anne Marie Pedersen

Nis Jørgensen, det man gør er, at alle elever får to sæt opgaver. Læsningshæftet får alle, mens resten får ENTEN naturfag ELLER matematik for at gøre prøven kortere. Man får dermed kun to testscore fra hver elev.

Når man bagefter sidder og laver regressioner, så skal man naturligvis bruge 3 testresultater fra alle elever.
Derfor beregner man (vist nok vha. korrelationer) testscore for den 3. manglende score.

Her tager man så højde for social baggrund, køn m.m.
Forresten.. Index for social baggrund er lavet via spørgsmål som: Hvor mange bøger er der i dit hjem? Har I vaskemaskine derhjemme? Der er nemlig IKKE kørt baggrundsoplysninger på fra andre kilder end børnene.

Jeg tror (uden at vide det) at Peter Allerup-citatet er for kort. Jeg undrede mig også over det.

anbefalede denne kommentar
Brugerbillede for Nis Jørgensen

@Anne Marie:

Hvorfor skal man "naturligvis" bruge 3 testresultater? Det naturlige (set fra min side) ville være at bruge de resultater man har - i forvejen vægtet efter diverse baggrundsparametre. Resultatet bør blive tilsvarende - bortset fra at der ikke er en spøgelsesbesvarelse fra dem der ikke har svaret.

Men så vidt jeg kan vurdere ved lidt googling (efter PISA "imputed responses") er beskrivelsen af hvad der foregår nogenlunde korrekt.

Under alle omstændigheder: Det lader ikke til at være Svend Kreiners hovedanke - det er derimod kulturafhængigheden i prøven:

http://www.folkeskolen.dk/ObjectShow.aspx?objectid=67495

Den sag er kompliceret - for hvornår er kulturafhængigheden en del af det vi vil måle?

Eksempel: I land A er eleverne relativt gode til at multiplicere - fordi deres lærere lægger mere vægt på dette, eller har fundet en bedre undervisningsmetode. Resultatet bliver at vi ikke kan bruge multiplikationsstykker til at sammenligne A med andre lande - og dermed forsvinder skolernes positive indsats fra målingen.

anbefalede denne kommentar
Brugerbillede for Kristian Rikard

Sidste gang PISA-undersøgelserne var oppe at vende, tillod jeg mig at gøre opmærksom på, at det er rimeligt heftigt, at ville lægge en trendlinie ind baseret på 4 observationer, hvoraf den første var benchmark/startmålingen og den 3. synes
at kunne kaldes en outlier.
Den undervisningsminister, der foreslog dette, er da nu også trygt hjemme hos sit uforsørgede barn, og luer formodentligt sit kartoffelbed.
Tilbage står imidlertid, at det er noget beklageligt, når politikere og kommunikationsfolk prøver at tage statistik eller andre videnskaber til indtægt for deres mere eller mindre tåbelige politiske budskaber.
Hånden på hjertet, hvor mange her på stedet er ørne til lineære regressionanalyser - for slet ikke at tale om de multiple. :-(

anbefalede denne kommentar
Brugerbillede for Anne Marie Pedersen

Naturligvis = det ser pænt ud :) Det booster signifikansen. (Og gør PISA teknisk svært tilgængelig)

Men du har ret i, at det ikke er Kreiners største anke; for ham er det et problem, at der postuleres at man måler eet underlæggende fænomen - selvom der i virkeligheden måles mange forskellige fænomener.

PS. Jeg har selv arbejdet (overfladisk) med PISA-data. Og der er meget mere som efter min mening er meget suspekt. Fx de mange brug af vægte. Det skaber et slør af fremmedgørelse overfor dem, som arbejder med data.

anbefalede denne kommentar
Brugerbillede for Morten Lind

Jeg kan simpelthen ikke huske at PISA undersøgelserne har været udsat for så kraftig kritik, dengang det gik fint for Danmark.

Enten har man ændret på udregningsmetoderne, hvilket muligvis berettiger kritiken. Eller også udtrykker man bare førts kritiken nu, da der er "problemer" med Danmarks rangering.

I det sidste fald, så minder det lidt om "Obfuscation" indenfor videnskabelig uredelighed; det forhold at man kun medtager eksperimenter med et hensigtsmæssigt udfald.

anbefalede denne kommentar
Brugerbillede for odd bjertnes

Der er ikke langt til Penkowas fantasi-mus, sandt nok.
Statistik er taknemmelig fra starten, og man er nok bedst tjent med at fremlægge sandheden om undersøgelsesgrundlaget i den branche.
Men hvordan kan man undersøge nogen færdigheder uden at tage højde for forskellige former for 'intelligens' ?
Og selv hvis man gjorde, kunne man da gå ud fra at de forekom i ligelige mængder.

Og så igen.igen.igen : der det en hån mod hele folkeslag her i verden at kalde den her beskrevne praksis racisme. Afslører kun hvor nem ophavsmanden er for onde viljer at manipulere med sprogligt. Denne håbløse svipser forefindes i en tidligere kommentar. Men elever fra hjem, hvor familie-sproget internt ikke er det samme som undervisningens, vil naturligvis altid have vanskeligere vilkår i undervisningen. Overlevende 'nyrupister' bør snart forstå, at om man sort, gul, rødhud eller hvid har intet dermed at gøre.

anbefalede denne kommentar
Brugerbillede for Anna Lønne Sørensen

Det er jo helt grotesk det her. Hvordan i al verden er vi som nogenlunde veluddannede og vidende mennesker er kommet så langt ud?
Hvordan er det lykkedes den nuværende regering at få os alle så meget på vildspor, fx her i hele Pisa-sagen ???
Nu skal vi altså snart have almindelig sund fornuft ind i vores land igen. Og diverse medier noget så kraftigt VÅGNE OP!!

anbefalede denne kommentar
Brugerbillede for Niklas nivlaps@gmail.com

Jeg synes vagthundene - embedsværk og journalister på hver sin vis - har svigtet i denne sag. Det ville være klædeligt hvis politikerne snart holdt op med at forsøge at gøre alle deres ideologisk baserede forslag til nødvendigheder ved hjælp af uigennemskuelig statistisk funderet på tvivlsommme, halvskjulte metoder - eller at nogen skød dem ned, når de prøvede.

anbefalede denne kommentar
Brugerbillede for Per Vadmand

»Den dygtige elev er som regel dygtig til hele. At man eksempelvis er dårlig i matematik og naturfag, men god til dansk, er typisk en myte,« siger Niels Egelund.

Hvordan er den mand blevet professor?

anbefalede denne kommentar
Brugerbillede for Olav Bo Hessellund

Problemet med PISA-målingerne er som ved al beskrivelse af komplicerede samfundsforhold: måler man rent faktisk det, som man gerne vil måle? Det gør man ofte ikke – og så er det fristelsen til at manipulere indfinder sig – og så handler det pludselig ikke længere om statistik, men om politik og prestige, og for de, der er ansvarlige for statistikken, kommer det til at handle om personlig og faglig integritet (eller moral, om man vil).

”Ikke alt, der kan tælles, tæller, og ikke alt, der tæller, kan tælles.”
( Albert Einstein)

anbefalede denne kommentar
Brugerbillede for Lars Rokkjær

Jeg arbejder med skoler i hele Europa, og i alle lande lægges en næsten religiøs sandhedsværdi i PISA undersøgelserne.
Gang på gang påvises det uhensigtsmæssige i, at anvende PISA til vidtgående konklutioner.
Der findes i mange lande forskere der har sat spørgsmålstegn ved testen, men indtil videre har ingen ansvarlige politikere taget kritikken alvorligt.

anbefalede denne kommentar
Brugerbillede for Poul Ottesen

*men indtil videre har ingen ansvarlige politikere taget kritikken alvorligt.*
Nej, naturligvis ikke, for hvis du ikke acceptere de neo-konservative Chicago-økonomers agenda ER du ikke en 'ansvarlig politiker' ..
Derfor fik vi 'New Labour', 'Den tredje Vej', og derfor er Helle Thorning ikke tillid værdig ..

anbefalede denne kommentar
Brugerbillede for Flóvin Eidesgaard

Jeg har arbejdet med PISA i flere år, og vil da gerne bidrage med nogle kommentarer.

Anne Marie Pedersen skriver:
"Man kan godt mistænke folkene bag PISA for at have konstrueret en test med så mange statistiske finurligheder, så stort set ingen forstår den. Og derfor kan ingen kritisere den. Det har de i følge designerne ikke kompetencer til."
- Der er snarere om et meget ambitiøst projekt, som på samme tid vil lave en sammenlignelig test som også tester mange ting samtidig og kan sammenlignes over tid. Samtidig skal data gøres nemme at arbejde med for dem som vil lave analyser.

Nis Jørgensen skriver:
"Men beskrivelsen af hvad man gør (genererer svar og rapporterer på baggrund af dem), og hvorfor (“for at få en svarprocent på hundrede”) er så langt fra normal statistisk praksis og sprogbrug, at der må ligge noget andet bag.
Peter Allerups henvisning til ubesvarede opgaver pga manglende evner og tid virker komplet irrelevant i forhold til min læsning af resten af artiklen, hvor der er tale om at eleverne ikke udsættes for opgaverne."
- Formålet er ikke at få en svarprocent på hundrede, men at give alle elever en score i alle tre fag, også hvor eleven kun har besvaret opgaver i de to andre fag. Peter Allerups udtalelse skal nok forstås på den måde, at der indgår 6.5 timers testmateriale, men hver elev får kun et udvalg opgaver der svarer til to timer.

Anne Marie Pedersen skriver:
"Jeg har selv arbejdet (overfladisk) med PISA-data. Og der er meget mere som efter min mening er meget suspekt. Fx de mange brug af vægte. Det skaber et slør af fremmedgørelse overfor dem, som arbejder med data."
- Det er almindeligt med stikprøver at vægte data for at de bedre repræsenterer hele populationen. Der indgår i PISA desuden nogle BRR-vægte, som kan være svære for mange at forstå, men det er ren teknik og sådan set ret simpelt. Det er en udvidelse af jackknife-metoden, hvor man bruge gentagne delstikprøver til at estimere stikprøveusikkerheden. Undlader man at bruge BRR-vægtene får man de samme parameter-estimater, men man kommer til at undervurdere stikprøveusikkerheden.

Ida Beck Andersen skriver:
"»Den dygtige elev er som regel dygtig til hele. At man eksempelvis er dårlig i matematik og naturfag, men god til dansk, er typisk en myte,« siger Niels Egelund.
Okay, hvad?!
Det der passer jo overhovedet ikke! Der findes alle variationer: dem som er gode til alle fag, dem som ikke er gode til nogen af dem, og dem (de fleste formentlig) som er blandet. Det er jo helt ekstremt at lave noget computergenereret statistik der går ud fra at at man er lige god til alting."
- PISA-målingerne viser sammenhængen mellem de tre forskellige fag, da der er elever som har læse- og matematik-opgaver, andre har læse og naturfags-opgaver, nogle har kun læse-opgaver, og nogle har opgaver fra alle tre fag. I den samlede stikprøve er der tilstrækkelig mange af hver til at man får et godt billede af den nævnte "myte". Man ser hvor mange elever er gode til det hele og hvor mange er gode til det ene og dårlige til det andet. Man har altså både en gennemsnit for matematik ud fra en given læsescore, og et mål for hvor usikker denne imputerede score er. Der er intet mystisk i dette.

Niklas Iversen skriver:
"Jeg synes vagthundene - embedsværk og journalister på hver sin vis - har svigtet i denne sag. Det ville være klædeligt hvis politikerne snart holdt op med at forsøge at gøre alle deres ideologisk baserede forslag til nødvendigheder ved hjælp af uigennemskuelig statistisk funderet på tvivlsommme, halvskjulte metoder - eller at nogen skød dem ned, når de prøvede."
- Undervisningsministeriet har selv finansieret forskningsprojekter som kigger kritisk på PISA, der er et eksempel her: http://www.folkeskolen.dk/ObjectShow.aspx?ObjectId=61944 Denne kritik var dog ikke så heldig, dele af projektet var faktisk pinlige, og sjovt nok var det netop bl.a. Svend Kreiner som gennemhullede kritikken fra Jens Dolin og co. Der har været ført en lang række kritikpunkter mod PISA fra mange forskellige sider, både i Danmark og internationalt, men langt de fleste har vist sig at være baseret på misforståelser hos kritikerne. Samtidig er mange kritikere meget ukonkrete og afslører ofte at de blot ikke kan lide tests eller ikke kan lide OECD.

Per Vadmand skriver:
"»Den dygtige elev er som regel dygtig til hele. At man eksempelvis er dårlig i matematik og naturfag, men god til dansk, er typisk en myte,« siger Niels Egelund.
Hvordan er den mand blevet professor?"
- Nu er du personlig, lige som Søren Lom i sin kommentar lige efter. Denne udtalelse fra Egelund giver god mening, men du misforstår den. Påstanden underbygges også af PISA-data. Se min kommentar længere oppe.

OECD afviser Svend Kreiners kritik, de siger hans undersøgelse er mangelfuld og lover at komme med et svar. Jeg ser frem til OECD svar, men jeg kan blot sige, at Kreiners bidrag er den mest seriøse kritik af PISA jeg hidtil har set. Jeg var til hans foredrag: http://staff.pubhealth.ku.dk/~jhp/2-dagesmoedeNov2010/SvendKreiner.pdf og jeg tror OECD får noget af en udfordring :)

anbefalede denne kommentar
Brugerbillede for Anne Marie Pedersen

@ Flóvin Eidesgaard

Korrelationen mellem scores på forskellige prøver KUNNE jo også skyldes, at alle prøverne er ret læsetunge. (Uden at jeg vil ned af det spor i øvrigt)

Og den med vægtene; selvfølgelig kan man godt arbejde med vægte. Når man arbejder med PISA, så har man bare en følelese af, at arbejde i en tåge. Vægtene er måske ikke problematiske i sig selv. Men når man ser dem i sammenhæng med hemmelige opgaveformuleringer, mærkelige sociale index, estimerede scores etc, så er PISA meget fremmedgørende. Data er uhørt svært tilgængelig i forhold til lignende undersøgelser. PISA er ikke gennemsigtig - og med tanke på dens indflydelse, så er det et problem.

Jeg har selv været til en del forelæsninger med Kreiner gennem tiden, så jeg må give dig ret i at det bliver en opgave at tilbagevise hans kritik. Han plejer at have ret godt styr på det, som han udtaler sig om.

anbefalede denne kommentar
Brugerbillede for Flóvin Eidesgaard

@ Anne Marie:

Svend Kreiner har udtalt, at han brugte en eftermiddag på sine analyser, inkl. at downloade data fra OECD's hjemmeside. Så det er kan ikke være helt tåget.

PISA-data er virkelig veldokumenteret. Folk med almindelig god statistik-forståelser gennemskuer det som regel hurtigt. Data er omfattende og dokumentationen ligeså, det som er grundighed kan forekomme som tåge for nogle.

De "mærkelige sociale index" er forklaret i appendix til rapporten og endnu grundigere i den tekniske rapport.

Estimerede scores (plausible values) og vægte er standard metoder, og det er Rasch modellen også. Derfor har Kreiner været i stand til at efterprøve forudsætningerne. Hvis forudsætningerne for at bruge metoderne ikke overholdes, så er det et problem, uanset om det er standard eller ej.

Og manglende gennemsigtighed er et problem, det er jeg enig i. Men rigtig mange forskere har faktisk fået adgang til de "hemmelige" opgaver til forskningsformål, ved blot at underskrive en fortrolighedsklausul.

Den seneste PISA rapport forklarer bl.a. vægtningen i metodekapitel (kapitel 6): http://www.ktst.dk/skolen/~/media/Styrelsen/internationalt/PISA%20dec%20...
Jeg har selv skrevet det kapitel :)

anbefalede denne kommentar
Brugerbillede for Søren Lom

»Den dygtige elev er som regel dygtig til hele. At man eksempelvis er dårlig i matematik og naturfag, men god til dansk, er typisk en myte,« siger Niels Egelund.

Lad os kigge lidt på dette besynderlige udsagn.
"som regel" og "typisk en myte" hvordan er de to udsag defineret statistisk? En regel antyder at andre muligheder ikke er tilladt, og en myte antyder at læseren er en idiot at hun kunne have en sådan antagelse, uanset om hun faktisk har den antagelse.
Udsagnene siger også implicit, at hvis man er dårlig til en ting er man dårlig til alting. Jeg tvivler stærkt på at der er signifikants for disse udsagn i materialet, og jeg tvivler også på at undersøgelserne, som de er tilrettelagt kan bruget til at undersøge disse påstande når man ikke tester eleverne i alting. For reglen siger jo at eleven skal vægtes ud fra de gemmeførte test, så hvis du skore dårligt i dansk og ikke laver matematiktesten, skore du automatisk også dårligt i matematik.
PISA undersøgelserne er et stort fupnummer.

anbefalede denne kommentar
Brugerbillede for Flóvin Eidesgaard

@Søren Lom:

I PISA 2009 er tre fagområder, læsning er hoveddomæne, de to andre er matematik og naturfag. Alle elever får stillet opgaver i læsning. Nogle elever får kun læsning. Nogle får læsning og matematik. Nogle får læsning og naturfag. Og nogle elever får alle tre domæner.

På denne måde måler man korrelationen mellem de tre domæner. Man har dermed en forventet matematik-score for en given læsescore (betinget gennemsnit), og også en varians på dette betingede gennemsnit.

Da alle elever kun får stillet opgaver svarende til to timers test ud af det samlede testmateriale som svarer til seks og en halv time, er der en såkaldt imputations-usikkerhed på scoren. Denne usikkerhed er større for et domæne, hvor eleven ikke er stillet opgaver. Usikkerheden repræsenteres i data ved plausible values.

Vi siger normalt, at hver elev får en score i hvert af de tre domæner, men det er faktisk ikke hele historien. Eleverne får fem forskellige scorer for hvert domæne, fem plausible values, PV. De fem PV varierer mere, hvis usikkerheden er større for en elev.

Jeg har set op til mere end 200 points forskel mellem det højeste og det laveste PV for én og samme elev i matematik, som ikke er hoveddomæne. En høj PV som tager højde for, at eleven måske er dygtig i matematik, uanset hvad hans/hendes læsescore er, en lav PV, da eleven måske er mindre dygtig, og tre i mellem de to yderpunkter, alt efter hvordan fordelingen har været for de elever som har løst både læse- og matematik-opgaver.

For den enkelte elev får man således ikke noget præcist mål for regnefærdighederne, men når man tager gennemsnit over hele populationen er dette statistisk støj, som viser den del af usikkerhed i de endelige estimater, som kommer fra imputation.

Det fupnummer du taler om ser du ikke i data, hvis du tjekker efter.

Det kan være Niels Egelunds udtalelse lyder besynderlig i dine ører. Han forsøger at give en enkel forklaring på noget enkelt. Du forsøger dig ud i ordkløveri, og det gavner ikke debatten.

anbefalede denne kommentar
Brugerbillede for Flóvin Eidesgaard

Rettelse til sidste afsnit:

Det kan være Niels Egelunds udtalelse lyder besynderlig i dine ører. Han forsøger at give en enkel forklaring på noget som ikke er helt så enkelt. Du forsøger dig ud i ordkløveri, og det gavner ikke debatten.

anbefalede denne kommentar
Brugerbillede for Nis Jørgensen

@Flóvin: Tak for din oplysning af debatten. Særligt henvisningen til metodeafsnittet i PISA-rapporten var oplysende (de vigtigste ting står dog i slutningen af kapitel 5).

Jeg fandt en god artikel om plausible values her: http://www.rasch.org/rmt/rmt182c.htm

Med min begrænsede forståelsen af matematikken bag, synes det dog at være åbenlyst at man ved brug af "plausible values" mister (en anelse) præcision i estimatet af middelværdier.

Når man begynder at tildele "plausible values" til elever der slet ikke har deltaget i testen af et bestemt fag, begynder det (for mig) at blive grumset. Jeg kan godt skimte validiteten i metoden, men den bliver sværere og sværere at forklare til ikke-matematikere.

anbefalede denne kommentar
Brugerbillede for Flóvin Eidesgaard

@Nis Jørgensen:

Ja, det er rigtigt, bilag til kapitel fem indeholder også noget om metode. Tak.

Du har også ret i, at der er mindre præcision i estimat af eksempelvis middelværdi, når man bruger plausible values. Men du skal huske på, at man netop ikke kan angive estimaterne præcist, bl.a. fordi der er tale om en stikprøve, men kun med en vis statistisk usikkerhed. Plausible values bidrager med den andel til usikkerheden som kommer fra imputation. M.a.o., hvis man ignorerer imputationsusikkerheden, eksempelvis bruger gennemsnit af de fem PV, så snyder man.

Man kan i data identificere de elever, som har løst matematik-opgaver. Hvis man beregner gennemsnit i matematik for alle elever eller kun for de elever som har løst matematik-opgaver, får man samme resultat.

Der medvirker 6000 elever i Danmark. Der er 13 forskellige testhæfter, so hvert testhæfte er udfyldt af knap 500 elever. Hver opgave indgår i fire forskellige hæfter, og er således stillet til 2000 elever. Hver elev har fået stillet fire trettendedele af alle opgaver. De 2000 elever er nok til at give gode estimater, derfor får man som nævnt samme resultat uanset om man beregner matematik for elever som har løst matematik-opgaver eller for alle elever. Man ville jo også få samme resultat, hvis man valgte 6000 nye elever til at være med, forskellen ville være inden for den statistiske usikkerhed, dvs. +/- et par point.

anbefalede denne kommentar
Brugerbillede for Anne Marie Pedersen

@ Flóvin Eidesgaard

Jeg stiller ikke spørgsmålstegn ved, at det er er muligt at sætte sig ind i PISA-data. Og at man selvfølgelig til syvende og sidst kan underskrive en fortrolighedsklausul. Men det er da også helt vildt at underskrive!!

Men det ændrer ikke på, at PISA er mange gange sværere tilgængelig end tilsvarende undersøgelser. Og efter min opfattelse, så handler det ikke kun om at lave gedigne undersøgelser.
Det er selvfølgelig en balancegang at vælge metoder, der på den ene side er avancerede nok OG som samtidig er så simple som mulige.

Og jeg har svært ved at se, hvorfor PISA skal være så svært tilgængelig. Jeg kan ikke se anden forklaring end at det skaber en distance.

anbefalede denne kommentar
Brugerbillede for Kristian Rikard

Kære Anne Marie Pedersen og Eidesgaard.
Bortset fra at jeg synes Informations overskrift på atiklen er noget uheldig, så har med nogen måben fulgt jeres meningsudvekslinger.
Jeg er selv en ganske habil statistiker, da man i min branche er nødt til at kunne og bruge det som det hjælperedskab, statistikken er.
I ved givetvis begge, hvad I taler om, MEN - og der er et stort men - er det relevant i et medie som Information? Eller for så vidt i ethvert andet bredt medie. Jeg synes det ikke, og jeg tror ubevidst, at I kommer til at støde nogle potentielt interesserede læsere væk.
Jeg kan forstå en sådan diskussion i et fagtidsskrift, men er bange for, at den let får det modsatte resultat her - og det er synd!
Hvad var formålet med PISA undersøgelseren? Ja det var forhåbentligt at måle en udvikling over tid (glem alt om de internationale
sammenligninger - det ved både I og jeg er mere tro, håb og kærlighed end noget andet). Gør vi/I så det? Jeg er bange for, at jeg i hvert fald ikke er blevet meget klogere siden en forhenværende famøs undervisningsminister gled i PISA'en!

anbefalede denne kommentar
Brugerbillede for Nis Jørgensen

Kære Kristian

Artiklen handler om statistisk metode, og kritik af samme. Hvad havde du forestillet dig at en debat skulle handle om? Ukritisk accept af alle de i artiklen fremførte påstande om emnet, og debat ud fra disse?

Flóvin har været ekstremt behjælpelig med at uddybe artiklen - hvilket gjorde den forståelig for mig som "lægmatematiker".

anbefalede denne kommentar
Brugerbillede for Thora Hvidtfeldt Rasmussen

Jeg er godt klar over, at der er beskrevet mange ting omkring PISA-undersøgelserne i bilag, jeg næppe har læst - men uanset statistiske spidsfindigheder er det mig en gåde, at man genererer spørgsmålsbesvarelser, fordi det ellers ville tage længere tid for elever at lave besvarelsen.
Hvis spørgsmålene ikke er forelagt eleverne, hvorfor skal det så se sådan ud? Hvorfor kan man ikke bare nøjes med de svar man har? Det er jo alligevel ud fra dem, man har forsøgt at gætte, hvad de andre ville have svaret ...
Det kan godt være, at det ifølge statistiske regler er OK - hvad ved jeg? Men i så fald er det i hvert fald ikke OK at bruge det overfor politikere og lægfolk til at retfærdiggøre en meget stor omvæltning af den danske folkeskole.
Folkene bag må da have grinet, så de de klaskede sig på lårene, når det i alvorstunge kommmentarer blev ført frem, at Danmark var dårlig til at bryde den sociale arv - ud fra data, der var genereret ud fra en antagelse om denne arvs betydning ...
Måske passer de opfundne data (som nogen ovenfor skriver) udmærket med resten af billedet. Måske er Egelunds algoritme til at generere besvarelser i virkeligheden så god, at vi slet ikke behøver at lave flere undersøgelser?
Men er det alligevel ikke stadig lidt mærkeligt at lade offentligheden tro, at der var flere besvarelser, end der var?
Er det en tilstrækkelig undskyldning for manglende dokumentation af store dele af forsøgsresultaterne, at man har beregnet sig frem til nogen data, der fuldstændig ligner dem, man rent faktisk fik ved testene?

anbefalede denne kommentar
Brugerbillede for Thora Hvidtfeldt Rasmussen

Morten Lind siger:
Jeg kan simpelthen ikke huske at PISA undersøgelserne har været udsat for så kraftig kritik, dengang det gik fint for Danmark.

Hej Morten!
Hvornår er det, du mener, at PISA-testen har vist, at det gik fint for Danmark?
Fra første gang, disse test kom frem, har de været brugt til at vise, at den danske folkeskole ikke duede.
Den er belevet brugt til at retfærdiggøre indførelse af elevplaner, nationale test og kanoner. Den har retfærdiggjort større vægt på linjefag (heraf mindre vægt på, almen pædagogik) på læreruddannelserne.
Men der er ikke en positiv PISA-rapport at sammenligne med fra "før Haarder" - de har fra starten af været tolket negative.

anbefalede denne kommentar
Brugerbillede for Nis Jørgensen

@Thora: Det du skriver er lidt et argument for at holde metoden hemmelig, og kun publicere resultaterne. For Flovin og Niels Egelunds påstand er at metoden holder vand, men at den er kompliceret at forklare overfor folk uden avanceret matematisk baggrund (og Niels Egelund og journalisten fejler heftigt i artiklen).

Det du argumenterer for er, at statistikerne skulle have valgt en efter deres mening mindre egnet metode, fordi denne er sværere at forklare for lægfolk.

Hvis PISA-undersøgelserne blev markedsført som "baseret paa X tusinde besvarelser/elever", hvor X inkluderede de elever der ikke var testet i matematik, ville der være noget at komme efter.

Dette afsnit forstår jeg simpelt hen ikke:

"Det kan godt være, at det ifølge statistiske regler er OK - hvad ved jeg? Men i så fald er det i hvert fald ikke OK at bruge det overfor politikere og lægfolk til at retfærdiggøre en meget stor omvæltning af den danske folkeskole."

Hvis den statistiske metode er i orden, er det vel netop i orden at bruge undersøgelsens resultater som (del af) et beslutningsgrundlag? At vi (formodentlig) begge er uenige i vægten tillagt PISA-resultaterne såvel som den trufne beslutning er noget andet.

anbefalede denne kommentar
Brugerbillede for Olav Bo Hessellund

Denne debat minder mig om de debatter man nogle gange hører, når man diskuterer a-kraft, skattepolitik, EU og andre teknisk komplicerede emner. Da ser man ofte, at den ene part (ofte dem med stor teknisk indsigt) affærdiger modparten ved at henvise til, at sagen er altfor kompliceret til, at lægfolk kan have en fornuftig mening om den.

Det er jo noget sludder, fordi spørgsmål om indførelse af a-kraft, en bestemt skattepolitk osv. selvfølgelig aldrig kan reduceres til rent tekniske spørgsmål - i hvert fald ikke sålænge vi lever i et demokrati (om og i hvilken grad vi så gør det, er så en anden diskussion).

Vi må altid kunne forlange, at sagkundskaben eller andre kvalificerede ”oversætter” debatten, således at såkaldt almindelige mennesker kan tage stilling for og imod. Demokratiet må aldrig reduceres til et teknisk spørgsmål, der kobler menigmand fra. Demokratiet er et praktisk problem, et spørgsmål om målsætning – her: hvad vi ønsker, vores børn skal lære i skolen.

anbefalede denne kommentar
Brugerbillede for morten hansen

Vi har længe vidst det: PisA er svindel fra ende til anden!

Alene det faktum, at finske skoleelever, der har højeste score i PisA, er dem, der hader at at gå i skole mest af alle børn i Europa, siger alt.

PisA er et værktøj til afretning, ensretning, fordummelse og indkodning til maskinel indterpning.

I USA har man et system med systematiske standard-tests. Elever skal flere gange om året testes. Al undervisning er rettet mod beståelse af disse tests. Tests regnes som garanti for kvalitet i undervisningen.

Det viser sig så, at en rundspørge ved nogle af de mest prestigiøse Universiteter i USA: Harward, Princeton, Yale, at 1000'er af elever hvert år bliver afvist, selvom de har allerhøjeste score i standard-tests fra det, der svarer til gymnasiernes afgangsklasser. Direkte adspurgt svarede de ansvarlige ved disse højere læreanstalter: 'Vi kan ikke ikke bruge dem. Vi har brug for folk, der har lært at tænke selv'.

De foretrak fx. ansøgere, der havde gjort usædvanlige ting. En ansøger havde fx. slået rekorden i kørsel på et-hjulet cykel i frit tærræn ... Han havde udvist originalitet og ekstrem viljestyrke. Han skulle nok klare sig i et krævende studie.

Den samme, der havde spurgt rektorerne på universiteterne konstaterede - på baggrund af erfaringer fra 50 år i skolevæsenet - at amerikanske skolebørn i en støt faldende kurve var blevet dummere og dummere, ligesom den menige amerikaner. Korporatismen har sejret ad helvede til.

PisA bygger på en hovedløs leflende efterligning af amerikanske uddannelsesidealer. Er turen kommet til europæerne. Ja, selvfølgelig! Altså hvis man spørger 'The masters of stupidity'.

Spørg en erhvervsleder i DK med fornuften i behold, og han / hun vil svare dig, at vi ikke har brug for terpere, testscorere og udenads-iditoter. Vi har brug for folk, der kan tænke. Giv os Trivium og Quadrivium tilbage - de klassiske discipliner for ÆGTE tænkning. Grækerne kendte det, romerne ligeså - inden de gik i stok af korruption og proto-fascistisk dekadence.

Hvor mange i dag kender fx. de klassiske 'logiskle fejlslutninger'? I Ikke ret mange. Og hvad er så det, spørges der? Det er fx. 'En sten kan ikke flyve - Morlille kan ikke flyve - ergo er Morlille en sten!" Lyt til hvor mange gange folk fra fordummelsens højborg, Christiansborg, tyr til logiske fejlslutninger, som hvis vi havde klassiske dannelse i skolen, ville blive gennemskuet med det samme.

En anden logisk fejlslutning hedder 'Appel til autoritet'. Man udråber noget til autoritet. PisA fx. Så slutter man udfra udråbelsen: fordi PisA er en autoritet (gu' er den røv!, den er et svindelnummer!), så har Vi ret i at mene, at .... og så er der vupti truffet politiske beslutninger på fordummelsens højborg med vidtgående konsekvenser for en masse mennesker i kongeriget.

anbefalede denne kommentar
Brugerbillede for Søren Lom

Tak for videoen Anders, klar tale, formålet med PISA er at droppe den almene frie uddannelse for de dårligste 25% og indføre amerikanske tilstande.

Stop for PISA og nationale test på være et krav til en ny regering.

anbefalede denne kommentar
Brugerbillede for Nis Jørgensen

@Olav: Jeg synes det mest gennemgående træk ved denne og andre debatter der blander politik og videnskab - er at folk støtter eller kritiserer videnskabsfolk ud fra om deres forskning er i overenstemmelse med deres forudfattede mening.

I dette tilfælde: Hvis man synes at der skal mere disciplin og danskundervisning i folkeskolen, så mener man at PISA-undersøgelsen er valid - for den siger at det står skidt til, og det kan bruges som argument herfor.

Synes man til gengæld at der er gået for meget kanonisering og nationale test i folkeskolen, på bekostning af kreativitet og metodefrihed - så mener man at en kritik af dele af metoden er nok til at afskrive hele undersøgelsen som ugyldig og/eller politisk funderet - før folkene bag PISA har fået mulgihed for at svare fornuftigt på kritikken.

anbefalede denne kommentar
Brugerbillede for Bjarne Hansen

Nu må vi have en 360 graders undersøgelse af undersøgelsen, nedsæt en PISA kommision, og send samtlige relevante Ministre og konsulenter rundt samtlige ganske Danske skoler i hele nationen, hver en sten skal vendes og kontrolleres, udvalg skal stiftes, rapporter skal skrives, og der skal ansættes en masse mellemledere til at kontrollere at alt bliver behørigt kontrolleret.
Senest 2020 skal en 1200 sider rapport ligge på Undervisningsministerens bord.

Sådan får man Verdens dyreste Folkeskole, og Europas dummeste elever.

anbefalede denne kommentar
Brugerbillede for Lars Dahl

Professor Niels Egelund er sikkert en dygtig professor. Men på denne bane: PISA er han en lurvet politiker med slette motiver.
Folk der har hørt ham og Haarder udveksle ord i lufthavne og på restauranter om deres kupplaner mod den danske undervisningssektor slår hans retorik i hartkorn med Gadaffi's. - Hmm Det gør jeg. Slår Egelund's retorik i hartkorn med Gadaffi's.

anbefalede denne kommentar
Brugerbillede for Lars Dahl

Professor Niels Egelund er sikkert en dygtig professor. Men på denne bane: PISA er han en lurvet politiker med slette motiver.
Folk der har hørt ham og Haarder udveksle ord i lufthavne og på restauranter om deres kupplaner mod den danske undervisningssektor slår hans retorik i hartkorn med Gadaffi's. - Hmm Det gør jeg. Slår Egelund's retorik i hartkorn med Gadaffi's.

anbefalede denne kommentar

Sider