Kronik

’Big data’ har fået nærmest guddommelig magt over skolen

Den datadrevne udvikling og evaluering af den danske folkeskole er kommet helt ind i de enkelte klasseværelser. Problemet er, at vi med den blinde brug af ’big data’ kun måler det, der er nemt, i stedet for at måle det, vi værdsætter
Den nyeste forskning påpeger, at det er på tide at vende ’big data’ ryggen for i højere grad at få en forståelse af betydningen af ’small data’. Små data kan nemlig bruges til at få dyberegående perspektiver på, hvad god undervisning overhovedet er. Elever på Ålholm Skole i Valby 2014.

Den nyeste forskning påpeger, at det er på tide at vende ’big data’ ryggen for i højere grad at få en forståelse af betydningen af ’small data’. Små data kan nemlig bruges til at få dyberegående perspektiver på, hvad god undervisning overhovedet er. Elever på Ålholm Skole i Valby 2014.

Sigrid Nygaard

11. juni 2016

Et af mine yndlingscitater stammer fra den amerikanske professor og uddannelsestænker William Edward Deming.

»In God we trust; all others bring data,« har han sagt, og jeg har hyppigt brugt citatet i min undervisning af lærerstuderende i metode og videnskabsteori.

Demings ord synes dog at have fået en ganske anden og mere skræmmende betydning i forhold til den omfattende reform af vores folkeskole. Sagen er nemlig den, at big data – eller store datasæt – har en substantiel, men ikke altid så heldig betydning for udviklingen af vores folkeskole og skolesystemer verden over.

Se blot på betydningen af PISA-test og PIRLS-læseundersøgelser og brugen af data fra Verdensbanken og andre organisationer.

Datadreven udvikling af den danske folkeskole er kommet helt ind i de enkelte klasseværelser med inspiration fra blandt andet reformer i den canadiske provins Ontario.

Noget tyder imidlertid på, at big data ikke er den mirakelkur, der kan redde verdens uddannelsessystemer. Ja, faktisk er et unuanceret fokus på disse store data ved at korrumpere vores folkeskole og synet på, hvad god uddannelse overhovedet er for en størrelse.

Danmark er et af de lande i Europa, hvor PISA-målingerne har haft størst effekt på reformerne af vores skolesystem. Det fremgår af rapporten The Policy Impact of PISA fra 2012, hvori det vurderes, at PISA’s betydning for udviklingen af det danske skolesystem – med indførelsen af nationale test og en øget grad af standardisering etc. – er »ekstrem«. Kun i England har PISA 2000 haft en tilsvarende markant indvirkning.

Hvad med kvaliteten?

PISA er et eklatant eksempel på den form for big data, der har fået nærmest guddommelig magt over udviklingen af visse landes skolesystemer. En af konsekvenserne er, at kvaliteten af et skolesystem i høj grad vurderes på baggrund af netop særlige varianter af big data forstået som store kvantitative datasæt, der analyseres gennem statistiske metoder

De nationale test, der i sandhed også må betegnes som big data, bruges blandt andet til at vurdere om eleverne er gode til at læse og regne, om andelen af de allerdygtigste elever i dansk og matematik stiger år for år, og om andelen af elever med dårlige resultater i de nationale test for læsning og matematik reduceres år for år.

Se, det er big data, der vil noget, og som tilsyneladende siger noget om kvaliteten af vores skole og den undervisning, der foregår. Spørgsmålet er blot, om disse big data er de rigtige data, og hvorvidt det er data, som kan fortælle os noget som helst om, hvad uddannelse overhovedet er til for, og hvorvidt udviklingen af vores folkeskole går den rigtige vej.

Læs også: De bløde værdier i skolen er opskriften på succes

Den finske pædagogiske forsker Pasi Sahlberg har for nylig udtalt til The Washington Post, at big data ingenlunde giver os nogen form for indsigt i, hvad god undervisning er, og hvordan elever trives og lærer i skolen.

Big data kan intet sige om de mikroprocesser, der foregår i hvert eneste klasseværelse på hver eneste skole i Danmark, og som har central betydning for, om børn har det godt i skolen, og om de tilegner sig kundskaber og færdigheder.

Problemet er, at det ikke kun er forløbet op til reformen af vores folkeskole, der har været forankret i big data. Nej, anvendelsen af big data som en art styringsform eller som en form for statslig pædagogik er trængt helt ind i de danske klasseværelser. En række af folkeskolereformens kvantificerbare mål er helt inde at virke i skolens og undervisningens allerinderste væsen.

Amerikansk fiasko

Det samme har man set i USA, hvor den kontinuerlige måling af skolens kvalitet eller udvikling også ses på baggrund af store data. I forbindelse med den forhadte No Child Left Behind-politik var målet, at 100 procent af amerikanske elever skulle blive ’dygtige’ (proficient) til læsning og matematik, og de enkelte stater skulle sætte mål for tilstrækkelig årlig fremskridt (adequate yearly progress).

Big data blev altså med No Child Left Behind afgørende for vurderingen af såvel uddannelsespolitiske reformer som spørgsmålet om, hvad en god skole er. Det gjorde imidlertid ikke den amerikanske skole bedre – tværtimod. 500 amerikanske uddannelsesforskere underskrev et brev til den amerikanske kongres, hvori de bl.a. tog skarp afstand fra det ensidige fokus på standardisering og den massive anvendelse af data og test.

En række af de centrale ambitioner i No Child Left Behind-politikken svarer fuldstændigt til reformen af den danske folkeskole, hvor andelen af de allerdygtigste elever i dansk og matematik skal stige år for år, og andelen af elever med dårlige resultater i de nationale test for læsning og matematik skal reduceres år for år – hvilket vil sige vores mål for årlig progression.

Problemet er, at big data – som i eksemplet med PISA – kun giver os viden om korrelationer, det vil sige sammenhænge mellem flere forhold. Denne form for big data indeholder ikke egentlig viden om kausale forhold – altså årsagssammenhænge.

Det giver altså ikke mening for politikere og uddannelsespolitiske interessenter at kigge på et givent land og sammenligne variable eller forskellige faktorer og pege på, at eksempelvis en længere skoledag medfører øget læring hos eleverne. Der er alene tale om sammenhænge, og mængden af forskellige faktorer og forhold, der spiller ind på disse forskellige sammenhænge, kan være uendelig og kompleks.

Så såfremt uddannelsespolitiske interessenter sidder i folkeskolereformens situation room og søger at finde årsagsforklaringer i resultaterne fra nationale test eller fra PISA på, hvorfor en given skole i Jylland eller et land som Finland klarer sig godt i læsning, ja, så kan de godt glemme at finde en eller blot et par stykker specifikke årsagsforklaringer.

Små data er bedre

Pasi Sahlberg påpeger, at det er på tide at vende big data ryggen for i højere grad at få en forståelse af betydningen af small data. Små data kan nemlig bruges til at få dyberegående perspektiver på, hvad god undervisning overhovedet er. Små data er således kontekstsensitive data, det vil sige, data, der tager højde for den kompleksitet og diversitet enhver skole og klasse er præget af.

Vi har brug for, at folkeskolens udvikling og ikke mindst diskussionen af denne i højere grad er karakteriseret ved viden forankret i små data, det være sig dybdegående kvalitative undersøgelser af pædagogiske forhold i elevens, lærernes og ledernes pædagogiske hverdag.

Altså ikke blot big data, der fortæller os noget om vores placering på internationale ranglister, men derimod små data, der giver os viden om elevernes oplevelse af lærernes undervisningsdifferentiering, elevernes oplevelse af at være inkluderede i eller ekskluderet fra skolens fællesskaber eller elevernes oplevelse af sammenhængen mellem trivsel og det at lære noget.

De sociopolitiske konsekvenser af den øgede og unuancerede brug af big data via PISA eller nationale test er, at vi afmonterer de demokratiske præmisser for debatten om, hvad god uddannelse er, og hvordan folkeskolen skal udvikle sig.

»Without data, you’re just another person with an opinion,« lød det William Edward Deming.

Jeg vil snarere med den pædagogiske filosof og forsker Gert Biestas ord sige, at vi med den blinde brug af big data måler det, vi med lethed kan måle, i stedet for at måle det, vi værdsætter.

Thomas Thyrring Engsig er ph.d.-studerende ved Aalborg Universitet

Bliv opdateret med nyt om disse emner på mail

Vores abonnenter kalder os kritisk, seriøs og troværdig.
Få ubegrænset adgang med et digitalt abonnement.
Prøv en måned gratis.

Prøv nu

Er du abonnent? Log ind her

Anbefalinger

  • Tony Thomsen
Tony Thomsen anbefalede denne artikel

Kommentarer

Theis Aagaard

Kære Thomas, jeg er grundlæggende helt enig i dine betragtninger og jeg er vild med din sondring mellem Big og Small data MEN... Det er ikke retfærdigt når du hænger Deming ud på den måde, hvis man har studeret Deming (læs f.eks. Out of the crisis) vil man vide at deming på ingen måde er fan af store aggragerede datamængder fra mange forskellige kilder og for at tydeliggøre det er her et par andre deming citater der kan hjælpe til at forstå den kontekst som han taler ind i når han (måske) siger "in god we trust, all others must bring data".
Deming var optaget af
"Knowledge is the key."
"Lack of knowledge…that is the problem."
"It’s management’s job to know."

Og i forlængelse heraf
"You do not install knowledge."
"You do not find knowledge in a dictionary, only information."
"Information is not knowledge. Let’s not confuse the two."
"There is no knowledge without theory."

Og hvad den der teori angår
"A rational prediction has an explanation based on theory."
"We should be guided by theory, not by numbers."
"Without theory there is nothing to modify or learn."
"Without questions, there is no learning."
"You should not ask questions without knowledge."

Og hvordan hænger det så sammen med data
"Nobody should try to use data unless he has collected data"
Og han uddyber
"You need to understand the potential pitfalls of collecting data. You need to appreciate the importance of operational definitions which is hard if you haven’t collected data."
Og så sagde han i øvrigt også
"3% of the problems have figures, 97% of the problems do not."
"It is wrong to suppose that if you can’t measure it, you can’t manage it – a costly myth."
Jeg tænker ikke at Gert Biesta ville være uenig i det

Lauge Mølgaard

Folkeskolen har ~0,5 millioner elever. Jeg tror det er en rimelig antagelse, at en national test ikke indeholder mere end 1000 spørgsmål, og i så fald er det ikke mere data, end at man kan håndtere det på en ganske almindelig laptop. Måske endda en tablet med lidt snilde. Er det 'Big Data'? Jeg har svært ved at se det.

Simon Egenfeldt-Nielsen

Måske ville det være smart at lige slå def. af Big data op. Det har intet at gøre med National Test eller PISA (dit indlæg beskæftiger sig primært med assesment helvede og skævvridningen som new public mgmt. har medført). Det er masser af problemer (og potentialer) med big data men dit indlæg beskæftiger sig slet ikke hermed. Big Data defineres f.eks. som "extremely large data sets that may be analysed computationally to reveal patterns, trends, and associations, especially relating to human behaviour and interactions."

Pointen er de sidste to "human behaviour and interactions.", og bemærk også at nogen skal analysere det. Tests som du beskriver indskyder netop et kunstigt lag, og få big data analytiker ville bruge den data til ret meget, da dens validitet er problematisk på så mange niveauer.

Men for nu at give et eksempel på hvad 'Big Data rent faktisk kunne gøre i skolesystemet. Tag f.eks. et kig på Area9s løsning hvor du bl.a. ser potentialet for at bruge data til at forudsige hvor elever har størst nytte af at læse en tekst, og dermed kan anbefale hvilke dele af en tekst er mest kritisk for at opnå en bedre forståelse af et område.

I mit firma har vi i en del tid arbejdet med at bruge eye-tracking til at kunne understøtte læsningen til især ordblinde og læsesvage. Pointen er at systemet 'bare' er en eBog men som indsamler ekstremt specifik (og meget) data omkring interaktion, læsehastighed, pauser, overspring etc. Når man får nok af den data kan vi begynde at få langt mere præcis forståelse af hvor en elevs læsevanskeligheder ligger og anbefale læsestrategier og aktiviteter i samarbejde med lærere.
Pointen er at 'big data' består af en masse mikro-stykker af data med høj grad af validitet og tæt knyttet til interaktioner og adfærd - der er ikke indskudt noget kunstigt lag som i tests. Det er som regel heller ikke noget du bruger 'ekstra' tid på, men er data som indsamles mens du gør noget, så du har ikke et kunstigt test setup. Dine eksempler i indlægget kunne således næsten ikke være dårligere.

Iøvrigt har ingen så vidt jeg ved nogen sinde troet på at data kan udsige noget om noget som helst. Du kan stille spørgsmål til data og det du vælger at indsamle (og især den måde du strukturerer data på) - at stille de rigtige spg. til data har nok aldrig været vigtigt - hvilket professor fra Cambridge på området og understreger når han holder oplæg om big data. Når der er så meget data så er det dem som kan stille de nye, anderledes, interessant og svære spg. som afslører nye mønstre i datamasserne. Og den del fylder da heldigvis stadig en del i danske skolesystem :-)

Anne-Marie Krogsbøll

Big Data bliver fremtidens pest og atombombe i kombination.
https://www.version2.dk/artikel/oxford-professor-kunstig-intelligens-vil...

Undervisningsministeriet gennemfører trivselsundersøgelser, hvor børnene få oplyst, at deres besvarelser af de ret personlige spørgsmål, er anonyme - hvilket de ikke er - det har ministeriet erkendt. Børnenes besvarelser gemmes i mange år, uden at de ved det.

Disse besvarelser kan dukke op i forskellige andre sammenhænge fremover - bl.a. som Big Data, der kan sammenkøres med f.eks. medicinske databaser - til gavn for medicinalindustrien mere end for samfundet.

Undervisningsministeriet undslår sig således ikke for at lyve for børnene, for at få fingre i Big Data, hvilket på længere sigt undergraver både børnenes og de voksens tillid til samfundet og myndighederne. Også her har Big data på den måde allerede taget magten.

Vi skal spænde ben for denne udvikling - insistere på retten til privatliv og respekten for individets værdi som individ - ikke som "Big Data"-lager. Sige nej til de evindelige data-høstninger. For som det beskrives i bogen ovenfor, så er udnyttelsen af Big Data en ny form for darwinisme, som vil ende med at udrydde os alle sammen.

Henning Wettendorff

"Big Data" handler ikke primært om, hvor store datasæt man arbejder med, men om hvordan man arbejder med dem. Det har Simon Egenfeldt-Nielsen ret i.
PISA-data kan dog udmærket føde "Big Data" analyser - eller læremidler som hans eget. Data kan frit downloades hos OECD, og kan fx bruges som beskrevet fra event her (med en dansk dataprofessor tilstede, som sikkert gerne forklarer nærmere):
http://www.laceproject.eu/blog/advances-in-learning-analytics-and-educat...

Big Data teknologier indebærer for mig at se, at interaktionsdata indgår i sammenhænge, de færreste har mulighed for at gennemskue eller givet tilladelse til. Og det bliver et demokratisk problem, hvis kun en uhyre lille del af befolkningen har reel forståelse af mekanismerne og terminologien på det felt, som vil vokse sig - Big.

Det er forkert i den forbindelse at opstille en modsætning mellem fx interaktionsdata og måledata. Begge dele kan være meget relevante - især i kombination - afhængigt af formål som fx "learning analytics". PISA er også leveringsdygtig i interaktionsdata fra testene, muligvis endda samkørt med "students’ socio-economic status, gender, geographic location, and the school a child attends"
http://www.oecd.org/edu/students-computers-and-learning-9789264239555-en...

"PISA 2012 created a simulated browser environment, with websites, tabs and hyperlinks, in order to assess not only students’ reading performance, but also their web-browsing behaviour."
Her forstås adfærd som den måde opgaverne løses på mht. tempo og sikkert andre af de datatyper, Simons eget produkt til kognitiv færdighedstræning (og Area9) gør brug af.
Selv om PISA-testene i sig selv ikke gør brug af "Big Data" så er testresultaterne og tilknyttede datasæt glimrende dataføde for sådanne systemer, eller som tilsætning til forskellige algoritmers fordøjelsessystemer.

Steffen Gliese

Det er jo dejligt, hvis man vil vende tilbage til den enkle sandhed: at verden findes i et sandkorn. Det var man aldrig i tvivl om i min skoletid, og det er tydeligvis stadig tilfældet, da det er de skoler, de frie grundskoler, hvor det praktiseres, der klarer sig bedst.

Steffen Gliese

Jeg kan godt være bekymret for den omfattende kærlighed til teori - teori er sjældent godt at handle på, kun at iagttage ud fra.