Læsetid: 10 min.

Nye bøger viser, hvordan algoritmer, Big Data og digitalisering skaber øget ulighed

Sorte, migranter, religiøse og seksuelle minoriteter samt fattige personer er genstand for meget mere overvågning og kontrol, alene fordi de tilhører disse grupper. Det viser en række nye bøger om, hvordan Big Data og digitalisering skaber øget ulighed
Sorte, migranter, religiøse og seksuelle minoriteter samt fattige personer er genstand for meget mere overvågning og kontrol, alene fordi de tilhører disse grupper. Det viser en række nye bøger om, hvordan Big Data og digitalisering skaber øget ulighed

Mikkel Lock Svendborg

1. juni 2018

Der er stor mediemæssig bevågenhed på fake news og på, hvordan internettets algoritmer påvirker den ’viden’, der cirkulerer på sociale medier som Facebook. Vinklen er typisk, at det moderne menneske risikerer at blive dummere og får sværere ved at træffe oplyste valg. Algoritmer og Big Data skaber nye vilkår for vestlige samfunds demokratier.

Den dagsorden er væsentlig, men den teknologiske udvikling har også haft andre problematiske konsekvenser, som ikke får samme opmærksomhed. Øget digitalisering påvirker især udsatte personer, der har stor kontakt med ’systemet’ samt personer, hvis liv og præferencer adskiller sig fra normen. Aktuelle bøger om, hvordan algoritmer, Big Data og digitalisering skaber øget ulighed er for eksempel Cathy O’Neils Weapons of Math Destruction: How Big Data Increases Ineaquality and Threatens Democracy, Sara Wachter-Boettchers Technically Wrong: Sexist Apps, Biased Algorithms and Other Threats of Toxic Tech samt de to bøger, der er afsættet for denne anmeldelse, nemlig: Virginia Eubanks’ Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor og Safiya Umoja Nobles Algorithms of Oppression: How Search Engines Reinforce Racism.

O’Neil’s bog diskuterer, hvor indgribende algoritmer er for vores hverdagsliv. De matematiske modeller, der ligger til grund for de omsiggribende algoritmer, der afgør hvem, der kan optage lån, hvem der må få hvilke ydelser mv. er ifølge O’Neil helt uigennemskuelige og uregulerede. Hun mener, at det er på høje tid, at de, der udvikler modellerne, efterhånden også tager ansvar for de algoritmer, der styrer vores liv. Ligesom politikere og andre beslutningstagere må se at komme i gang med at regulere algoritmernes brug og omfang. Wachter-Boettchers bog ser nærmere på de mange apps, som vi alle bruger flittigt hver dag, og som hun viser er både sexistiske, diskriminerende – eller slet og ret bare rigtig, rigtig ubehagelige. Hvem har for eksempel lyst til at få en lille elektronisk besked på ens kærestes dødsdag, som hun spørger, og undrer sig også over, hvorfor vores seksualitet skal registreres, hvis vi ønsker at downloade bestemte apps? Fokus i alle fire bøger er, hvordan en datadrevet og algoritmestyret kontakt mellem mennesker skaber store problemer for bestemte befolkningsgrupper – og at politisk kontrol og regulering af Big Data og algoritmer er stort set fraværende i dag.

Virginia Eubanks’ Automating Inequality handler om konsekvenser af den øgede digitale registrering for udsatte familier (Indiana), hjemløse (Los Angeles) og udsatte børn (Pittsburg). Med en omskrivning af George Orwell’s berømte citat om, at »Big Brother is watching you« til »Big Brother is watching us« peger Eubanks på et væsentlig skifte fra, at det tidligere var individet, der blev overvåget og kontrolleret, til at det i dag er den gruppe, individet tilhører, der bliver overvåget, og som leder til kontrol af hele gruppen – og dermed også individet.

De personer, der i dag udsættes for en omfattende granskning, er de personer, der tilhører bestemte forudantagede problemgrupper i samfundet. Sorte, migranter, religiøse og seksuelle minoriteter samt fattige personer er genstand for meget mere overvågning og kontrol, alene fordi de tilhører disse grupper. Og da der tilsyneladende ikke er samme strikse regler for datadeling mellem myndigheder i USA, som der er i for eksempel Danmark, kan amerikanske myndigheder forholdsvist nemt skride til – også radikale – sanktioner som fængsling mv. Sanktioner, der kan være baseret på samkøring af data for en befolkningsgruppe og data om det pågældende individ, der findes i en række forskellige registre.

Eubanks bringer et eksempel fra den østamerikanske by Maine, hvor en datakørsel blandt fattiges indkøbsvaner afslørede, at 0,03 procent af 1.1 million betalinger blev foretaget i spiritusforretninger og andre ’illegitime’ butikker. Denne lille procentsats blev samlet op politisk og udlagt i medierne som snyd med fattigdomsydelserne – og dermed transformeret til grov udnyttelse af skattebetalende borgeres penge. Som Eubanks forklarer, sættes fattigdomsydelser ind på et særligt betalingskort, som kun kan bruges af modtagere af fattigdomsydelserne. Derfor kan politikere nemt få indblik i, hvor fattige familier køber ind. Registreringen muliggør dog ikke, at myndighederne kan se, hvad der købes. Konsekvensen for de fattige i Maine blev derfor, at de fremover skulle opbevare kvitteringer for alle deres indkøb i mindst 12 måneder, så politikere og andre også fremover ville vide, hvad de købte for fattigdomsydelsen. Introduktionskapitlet til bogen indeholder en række andre skræmmende eksempler som dette, der giver et chokerende indblik i den overvågning, fattige amerikanere udsættes for i dag.

Præcis som i Danmark har en væsentlig akse i al socialhjælp til fattige i USA handlet om at afgøre, om den fattige var ’deserving’ eller ’undeserving’ og har altså i høj grad været anskuet som et moralsk anliggende. Derfor ligger beslutningen om for eksempel at registrere indkøb digitalt i oplagt forlængelse af tidligere tiders overvågning, der stammer helt tilbage fra racehygiejnen og dens diagnosticering og efterfølgende indgreb. Ifølge Eubanks er det blandt andet 1960’ernes firedobling af socialhjælpen til især børnefamilier, der intensiverede en systematiseret overvågning af fattige. Målet var at holde den øgede udgift til fattige nede ved at registrere og dokumentere de fattiges liv. Lige siden har fattige ifølge Eubanks kun fået sværere vilkår. Bogens tre centrale empiriske kapitler fra Indiana, Los Angeles og Pittsburg er et vidnesbyrd om dette. Kapitlerne er baseret på mere end 100 interview, utallige klient- og patientjournaler, mange policy-dokumenter samt en række observationsstudier.

I Indiana indførte man i 2006 et nyt computersystem, der overtog den personlige sagsbehandling med udsatte klienter. Den nye digitaliserede kontakt mellem klient og myndighed automatiserede ansøgninger om ’madbilletter’ (food stamps) og økonomisk støtte til sundhedsudgifter mv. Digitaliseringen af kontakten med klienten betød, at en million ansøgninger i perioden 2006-2008 blev afvist med det computergenerede standardsvar ’failure to cooperate’ (manglende samarbejde).

Den nye automatiserede sagsbehandling blev understøttet af et centraliseret ’callcenter’ som de afviste ansøgere kunne ringe til, såfremt de var uenige i den computergenerede afgørelse. Alene i de første ni uger ringede 143.000 personer til callcenteret, fordi de mente, at deres ansøgning var blevet fejlbehandlet. De mere ressourcestærke klienter fik advokater til at køre deres sag. Advokaterne forklarer i bogen, at den automatiserede sagsbehandling resulterede i fejl forårsaget af computersystemet, og de estimerer, at disse fejl i 95 procent af tilfældene ikke havde noget med klientens indberetning at gøre. Ikke desto mindre blev samtlige afvisninger af ansøgninger begrundet med standardsvaret ’failure to cooperate’. En dansk pendant – omend mere mild – er den elektroniske indkaldelse til udsatte klienter til møder på jobcentre og i kommunernes andre afdelinger. Møder klienten ikke til aftalt tid, vil udeblivelse også lede til vurderingen om manglende samarbejde med den konsekvens, at klienten automatisk bliver trukket i sin kontanthjælp. Denne automatiserede beslutning træffes uden kendskab til den pågældende klients situation og til, hvordan en reduktion af kontanthjælpen vil påvirke klienten. I flere tilfælde har de danske klienter – ligesom de fattige i Eubanks bog – hverken adgang til computere eller de fornødne kompetencer til at tjekke deres elektroniske mailboks.

Mikkel Lock Svendborg

I Los Angeles ser Eubanks på digitalisering af arbejdet med hjemløse. Hun har undersøgt konsekvenserne af at indføre et såkaldt ’coordinated entry system’. Det officielle formål med systemet er at få viden, der kan afhjælpe det katastrofale mismatch, som hun skriver, mellem tilgængelighed af og behov for bestemte typer af boliger. Problemet er dog, at en detaljeret registrering af de hjemløses personlige situation af gode grunde ikke vil kunne afhjælpe et strukturelt problem med manglende boliger.

De hjemløse skal svare på en række meget private spørgsmål som deres seksuelle tilbøjeligheder, kriminalitetserfaringer, relationsproblemer samt spørgsmål vedrørende deres brug af andre serviceydelser mv. Deres svar på den omfattende survey resulterer i en ’score’ på mellem 0 (ingen problemer) til 17 (mange problemer). Scorer de lavt (0-3), afgør det automatiserede beslutningssystem, at de ikke vil få nogen hjælp. Ligger deres scoring i mellemgruppen (4-7) beslutter computerprogrammet, at de er berettiget til en tidsbegrænset bolig samt et bestemt omfang af støtte. Og scorer de højt (8-17) er de berettiget til permanent bolig og omfattende støtteordninger. Tilsvarende indeholder systemet informationer om eksisterende tilgængelige boliger i Los Angeles.

Automatisering af boligmatch mellem hjemløs og bolig løser dog ikke kerneproblemet: at der ikke findes boliger i den prisklasse, som de hjemløse har råd til, og som deres score gør dem berettiget til. En score over 7 bliver derfor en ’catch 22’ ifølge Eubanks: de får hverken passende bolig og støtte eller lov til at beholde deres privatliv som en privat sag. De mange private oplysninger, som de skal give for at komme i betragtning til en bolig, kan efterfølgende samkøres med andre registre og lede til beslutninger, der forværrer deres situation. I nogle tilfælde endda føre til fængsling.

I en dansk sammenhæng er den samme problemstilling alt for velkendt. I Danmark forsøger man tilsvarende at løse det strukturelle problem, at der er alt for få billige boliger i de store byer, med en omfattende registrering af hjemløses private og personlige forhold i diverse elektroniske journaler og andre digitale organisationsskemaer. I Danmark er der dog stadig væsentlige begrænsninger i forhold til mulighederne for at kunne dele informationerne med andre instanser. Pointen i Eubanks bog – og i dansk hjemløshedsforskning – er, at hjemløshed ikke først og fremmest er et informationsproblem, der kan løses ved granskning af de hjemløse med efterfølgende registrering. Eubanks oplyser, at der i Los Angeles er 57.000 hjemløse. Foreløbig er 31.000 blevet registreret i det nye system, og af disse har små 10.000 fået bolig. Systemet koster ifølge Eubanks 11 millioner dollar – og det er vel at mærke kun prisen for omkostningerne til udvikling og vedligeholdelse af software programmet Coordinated Entry System og for omkostninger til ansættelse af det personale, der skal taste data ind i systemet.

Relevante spørgsmål er ifølge Eubanks derfor, om disse penge er godt givet ud, og – mere vigtigt – om den detaljerede registrering af de fattige hjemløse fører til en yderligere kriminalisering af deres liv?

Tilsvarende scoringssystem bruger man i forhold til udsatte børn i Pittsburg. Her er det statistiske risikoberegninger, der er grundlaget for beslutninger om intervention. Og igen spørger Eubanks, om de komplekse problemer, som disse børn har, bedst løses ved, at de bliver indtastet i diverse bekostelige specialdesignede computersystemer, der derefter producerer automatiserede svar? Eubanks er ikke i tvivl: Registreringer af udsatte og fattige giver myndigheder mulighed for en meget nøje overvågning, som sjældent er i de udsattes interesse.

Safiya Umoja Nobles Algorithms of Oppresion: How Search Engines Reinforce Racism, der specifikt ser på, hvordan algoritmer medvirker til at undertrykke sorte amerikanere i USA, tilfører endnu et lag til forståelsen af digitaliseringens konsekvenser for bestemte borgergrupper. I dette tilfælde drejer det sig om sorte amerikanere. Eubanks er også opmærksom på netop sorte amerikaneres særligt vanskelige situation i en digitaliseret virkelighed, men Nobles tilgang er en anden. Noble viser, hvordan Googles algoritmer helt konsekvent sætter sorte amerikanere i et dårligere lys end hvide.

Hun præsenterer en række resultater fra google-søgninger gennemført i årene 2011-2016 som for eksempel ’black girls’, der fører til lister over pornohjemmesider; ’three black teenagers’, der resulterer i billeder af skummelt udseende overfaldsmænd, hvorimod samme søgning med hvide, altså ’three white teenagers’, resulterer i billeder af velklædte high school teenagers, der smiler. Tilsvarende med ’professional haircuts’, der kun resulterer i billeder af hvide kvinder, hvorimod ’unprofessional haircuts’ viser billeder af sorte kvinder. Eksemplerne er mange, og Noble’s enkle budskab er overbevisende: De algoritmer, som Google har udviklet, understøtter en undertrykkelse af sorte amerikanere. Søgninger fører stort set altid til, at sorte amerikanere afbildes i den mindre privilegeredes position – også i de tilfælde, hvor der ikke kan herske nogen tvivl om høj status. Hendes bog inkluderer for eksempel en søgning på ’N*gger house’, der resulterer i billeder af The White House. Søgningen blev lavet i præsident Obamas præsidentperiode.

Hendes bog behandler også et andet problem relateret til undertrykkende algoritmer. Nemlig, at den laveste klasse i det amerikanske samfund, der driver små forretninger, har fået næsten umulige arbejdsbetingelser. Søgemaskiner som for eksempel Yelp kræver således betydelige beløb for at ’finde’ de services og butikker, som deres brugere leder efter. Hvis man skulle have været i tvivl om, hvorvidt internettets søgemaskiner er neutrale redskaber i nutidens ’videnssamfund’, er man ikke i tvivl efter at have læst hendes fine bog. Jeg kan på det varmeste anbefale begge bøger samt de to, der ikke var plads til i denne anmeldelse.

Inspireret af Noble’s fund søgte jeg på ’indvandrerkvinder’ og ’danske kvinder’. ’Indvandrerkvinder’ resulterede i en skærm fuld af billeder af tørklædebærende kvinder, hvorimod ’danske kvinder’ klædte kvinderne af – og fjernede farven. Nu var alle hvide og halvdelen stort set uden tøj på. En søgning på ’professor’ gav mig håbet om fakta tilbage. Nu var der kun én kvinde blandt de mange mandlige ’professorer’ på min skærm. De var alle ældre mænd i jakkesæt. Med lidt justering af mændenes tøjstil passer dette resultat vel meget godt til fakta – desværre. Men det er en anden historie.

Nanna Mik-Meyer er sociolog og antropolog. Hun er professor på Institut for Organisation og anmelder jævnligt fagbøger for Information

–––

Virginia Eubanks: ’Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor’,

Safiya Umoja Noble: ’Algorithms of Oppression: How Search Engines Reinforce Racism’

Cathy O’Neil: ’Weapens of Math Destruction: How Big Data Increases Ineaquality and Threatens Democracy’

Sara Wachter-Boettcher: ’Technocally Wrong: Sexist Apps, Biased Algorithms and Other Threats of Toxic Tech’
 

Bliv opdateret med nyt om disse emner på mail

Vores abonnenter kalder os kritisk, seriøs og troværdig.
Få ubegrænset adgang med et digitalt abonnement.
Prøv en måned gratis.

Prøv nu

Er du abonnent? Log ind her

Anbefalinger

  • Eva Schwanenflügel
  • Jørn Andersen
  • ingemaje lange
  • Bjarne Andersen
Eva Schwanenflügel, Jørn Andersen, ingemaje lange og Bjarne Andersen anbefalede denne artikel

Kommentarer

Der er ingen kommentarer endnu