graphical design element, fragments in shades of green

Risiko-scoring af børn – Præ­dik­tive algo­rit­mer og tidlig indsats

Begrebet risiko har fået en central betydning i den soci­al­pæ­da­go­gi­ske tidlige indsats. Denne artikel under­sø­ger præ­dik­tive algo­rit­mer som ny teknik til beregning og syn­lig­gø­relse af børns risiko for mistriv­sel. Præ­dik­tive algo­rit­mer anvendes inter­na­tio­nalt til at beregne og forudse børns ukendte fremtider på baggrund af store datasæt. Empirisk sam­men­lig­ner vi to ikke-imple­­men­te­rede danske forsøg med at udvikle algo­rit­mer til at forudsige børns mistriv­sel: Gladsaxe kommune og forsk­nings­pro­jek­tet Under­ret­nin­ger i Fokus. Vi ana­ly­se­rer de to pro­jek­ters for­skel­lige risiko-kon­struk­tio­ner ved at undersøge (1) pro­jek­ter­nes pro­ble­ma­ti­se­rin­ger af eksi­ste­rende (algoritme-fri) prak­sis­ser, og (2) hvordan de registre, som algo­rit­merne er trænet på, har afgørende betydning for, hvordan børn og/eller familier kon­stru­e­res som risiko-objekter. Afslut­nings­vist dis­ku­te­rer vi de to for­skel­lige risi­ko­kon­struk­tio­ners betydning for, hvad ’tidlig indsats’ kan være.

Risi­ko­kon­struk­tion, præ­dik­tive algo­rit­mer, tidlig opsporing, data, maskinlæring.

Intro­duk­tion

Begrebet “tidlig indsats” nyder politisk opmærk­som­hed på tværs af pæda­go­gi­ske og sociale vel­færds­om­rå­der.  Der er udviklet adskil­lige metoder til at iden­ti­fi­cere og vurdere børns risici så tidligt som muligt, og begrebet afspejler mere over­ord­net en politisk interesse for at iden­ti­fi­cere udsatte børn så tidligt som muligt med henblik på at under­støtte deres uddan­nelse og frem­ti­dige selv­for­sør­gelse (Ejrnæs & Monrad, 2022; Wishart, Taylor, & Shultz, 2006). Både i Danmark og inter­na­tio­nalt er myn­dig­he­der begyndt at udvikle præ­dik­tive algo­rit­mer som et led i opsporing og/eller tildeling af vel­færdsy­del­ser til udsatte familier (Cuccaro-Alamin et al., 2017; Eubanks, 2018; Meilvang & Dahler, 2022). Da præ­dik­tive algo­rit­mer bl.a. anvendes til at ”risiko-score” børn ift. fremtidig mistriv­sel, er det inter­es­sant at undersøge dem som en ny metode i arbejdet med tidlig indsats. Som Amoore (2013, s. 7) påpeger: ”Risiko-tek­no­lo­gier [som præ­dik­tive algo­rit­mer] har i deres kerne et særlig forhold til fremtiden. De lover at kunne håndtere usik­ker­hed og gøre en ukendt og ube­stem­me­lig fremtid kendt og beregnelig”.

Præ­dik­tive algo­rit­mer er ofte udviklet ved hjælp af ”maskin­læ­ring” på store mængder histo­ri­ske data. I maskin­læ­ring lærer com­pu­te­ren af mønstre og sam­men­hænge i store datasæt, hvilket udmøntes i en algoritme, der kon­stru­e­rer fremtiden som et ”outcome”, der med stor sand­syn­lig­hed kan for­ud­si­ges (Ratner, 2021). I for­læn­gelse heraf under­sø­ger vi i denne artikel, hvordan præ­dik­tive algo­rit­mer fore­stil­les at bidrage til arbejdet med at iden­ti­fi­cere ”risikable” børn og familier i den tidlige indsats navn. Her er det vigtigt at under­strege, at vi ser den algo­rit­mi­ske iden­ti­fi­ka­tion, eller pro­fi­le­ring, af familier som per­for­ma­tiv snarere end repræ­sen­ta­tiv. Det betyder, at vi ikke forholder os til algo­rit­mer­nes validitet eller præcision, men derimod ser dem som tek­no­lo­gier, der indgår i en bredere sty­rings­mæs­sig kontekst og der­i­gen­nem bliver en del af det offent­li­ges teknikker til at begribe og arbejde med tidlig indsats.

Empirisk sam­men­lig­ner vi to danske projekter: Gladsaxe kommunes ”Tidlig data­ba­se­ret opsporing” og forsk­nings­pro­jek­tet ”Under­ret­nin­ger i fokus” (UiF) (cf. Ratner & Elmholdt, 2023). Begge projekter har forsøgt at udvikle algo­rit­mi­ske modeller, der kan forudsige børns risiko for alvorlig mistriv­sel. Hvor Gladsaxes projekt blev centrum for en data-etisk kon­tro­vers og efter­føl­gende lukket ned (Kri­sten­sen, 2022), tester UiF efter ikke deres model på virkelige sager. Således er ingen af pro­jek­terne imple­men­te­ret eller anvendt i danske kommuner. Teoretisk ana­ly­se­rer vi de to projekter ved (1) at undersøge pro­jek­ter­nes ”pro­ble­ma­ti­se­rin­ger” som et udtryk for en særlig sty­rings­lo­gik (Foucault, 1980), og (2) at undersøge sam­men­hæn­gen mellem data­grund­lag og kon­struk­tio­nen af børn og familier som ”risikable” subjekter (Amoore, 2013). Selvom man kan blive fristet til at antage, at der eksi­ste­rer en over­ord­net ”algo­rit­misk risi­ko­lo­gik”, kon­klu­de­rer vi, at præ­dik­tive algo­rit­mer indenfor soci­a­l­om­rå­det ope­ra­tio­na­li­se­rer for­skel­lige for­stå­el­ser af ”tidlig indsats”. I kon­klu­sio­nen dis­ku­te­rer vi impli­ka­tio­nerne af dette fund, og hvilke spørgsmål det rejser for præ­dik­tive algo­rit­mers poten­ti­elle indtog i vel­færds­sta­tens bestræ­bel­ser på tidlig indsats.

Baggrund

Maskin­læ­ring bygger på sta­ti­sti­ske metoder og prin­cip­per såsom sand­syn­lig­heds­te­ori, inferens og data­mo­del­le­ring. Der er både vigtige kon­ti­nu­i­te­ter og brud ift. statens anven­delse af statistik til at ’nor­ma­li­sere’ og ’disci­pli­nere’ befolk­nin­gen (Des­ro­siéres, 1998; Hacking, 1990). Staten har tra­di­tio­nelt set anvendt statistik til at undersøge og klas­si­fi­cere befolk­nin­gen ift. dens regu­la­ri­te­ter, normer og afvi­gel­ser (Ewald, 1990; Foucault, 1980). Statistik gjorde det med andre ord muligt for staten at iden­ti­fi­cere og kate­go­ri­sere borgere samt placere dem i vel­færds­sta­tens mange insti­tu­tio­ner. Foucaults begreb om ”sikkerhed” beskriver en udvikling mod et sand­syn­lig­heds­ba­se­ret og temporalt blik på befolk­nin­gen, der ses som en række dif­fe­ren­ti­e­rede og poten­ti­elle elementer, ”der skal reguleres inden for et mang­fol­digt og for­an­der­ligt rammeværk” (Foucault 2009, 35). Dette ses fx i uddan­nelse, hvor etniske mino­ri­te­ter gennem præ­dik­tion iden­ti­fi­ce­res som værende i særligt behov for uddan­nel­ses­mæs­sige inter­ven­tio­ner (Ratner, 2019).

Således fort­sæt­ter brugen af maskin­læ­ring i den offent­lige for­valt­ning en allerede eksi­ste­rende bevægelse, hvor statistik, data, og kvan­ti­fi­ce­ring spiller en væsentlig rolle (Birk og Elmholdt, 2020). I de seneste år har maskin­læ­ring vundet indpas inden for en række offent­lige områder, eksem­pel­vis skat, reci­di­visme, og vurdering af risiko for potentiel kri­mi­na­li­tet (AI Now Institute, 2018). Dunleavy og Margetts (2023) foreslår at forstå dette som en ny bølge af, hvad de kalder ”digital era gover­nance”, som udspiller sig i digitale data­in­ten­sive miljøer. Cevolini og Esposito (2020) påpeger videre, at brugen af algo­rit­misk præ­dik­tion medfører en overgang fra popu­la­tions­ba­se­ret risi­ko­vur­de­ring til indi­vi­du­a­li­se­rede risi­ko­vur­de­rin­ger baseret på indi­vi­duel adfærd. Det betyder, at enkelt­per­so­ner kon­stru­e­res som risi­koob­jek­ter igennem maskin­læ­rings­tek­no­lo­gier, og at en åben og usikker fremtid trans­for­me­res til et kal­ku­le­ret risi­koob­jekt i den tidlige opspor­ings navn. Dette betegner Amoore (2013) ”mulig­he­der­nes politik”, da maskin­læ­rings­tek­no­lo­gier gør individet styrbart ved at ”’[bryde det ned] i et sæt målbare risi­ko­fak­to­rer’ ” (Valverde og Mopas i Amoore, 2013, s. 8). Disse obser­va­tio­ner bliver centrale i for­stå­el­sen af, hvordan maskin­læ­ring bruges i den offent­lige sektor i for­læn­gelse af Foucaults udlægning af sikkerhed. Her bliver risiko-scoring og præ­dik­tion nøg­le­e­le­men­ter i den offent­lige sektors bestræ­belse på tidlig inter­ven­tion (Ratner, 2020).

Mens der er knyttet mange for­håb­nin­ger til algo­rit­mi­ske beslut­nings­sy­ste­mers præcision og hastighed, har syste­merne i inter­na­tio­nal sam­men­hæng dog ofte vist sig at være fejl­be­hæf­tede samt at forstærke ulighed og øge over­våg­nin­gen af mar­gi­na­li­se­rede befolk­nings­grup­per (Eubanks, 2018; Leslie et al., 2020). I en dansk kontekst har lignende pointer været fremhævet i forhold til algo­rit­mer på udsatte børn og på unge­om­rå­det (Høybye-Mortensen og Kjeldsen, 2021; Jørgensen, 2023; Jørgensen og Nissen, 2022). I Danmark er algo­rit­mi­ske beslut­nings­sy­ste­mer inden for udsatte børn og unge­om­rå­det imid­ler­tid kon­tro­ver­si­elle og er dags dato ikke nået videre end til udvik­lings- og testfasen (Ratner & Schrøder, 2023).

En analytik til at undersøge algo­rit­mi­ske risiko-kon­struk­tio­ner

Nedenfor udlægger vi, hvordan vi ana­ly­se­rer algo­rit­mi­ske risiko-kon­struk­tio­ner som en del af (1) et bredere sty­rings­ap­pa­rat (jf. Foucault 1980) og (2) som afhængige af de datasæt, der bruges til deres udvikling (Amoore, 2013). Ved at undersøge disse to aspekter kan vi forstå de præ­dik­tive algo­rit­mer som en del af bredere sociale og sty­rings­mæs­sige prak­sis­ser. Derudover tillader denne ana­ly­se­stra­tegi os at iden­ti­fi­cere, hvordan de to projekter ope­ra­tio­na­li­se­rer ”tidlig indsats” som en algo­rit­misk risiko-kon­struk­tion med for­skel­lige impli­ka­tio­ner for, hvilke familier og børn, der kate­go­ri­se­res som ”risikable”, og hvornår det offent­lige kan arbejde med ”tidlig indsats”.

Vi forstår her præ­dik­tive algo­rit­mer som en del af et bredere sty­rings­ap­pa­rat, der skal ”beregne og inter­ve­nere i indi­vi­ders og popu­la­tio­ners præ­sta­tio­ner” (Ruppert, 2012: 120). Således er præ­dik­tive algo­rit­mer en del af et bredere landskab af regu­le­rin­ger, pro­ce­du­rer, instru­men­ter og insti­tu­tio­ner. Derfor under­sø­ger vi, hvordan præ­dik­tive algo­rit­mer ledsages af spe­ci­fikke pro­ble­ma­ti­se­rin­ger (jf. Foucault, 1980), dvs. kon­struk­tio­nen af et problem samt en række teknikker til at løse dette problem. Pro­ble­ma­ti­se­ring sætter altså fokus på, hvordan et problem arti­ku­le­res inden for en bestemt sty­rings­mæs­sig kontekst. Med dette begreb kan vi iden­ti­fi­cere, hvordan de to projekter for­mu­le­rer børns ”risikable” fremtid som et problem, der kan iden­ti­fi­ce­res tidligt med hjælp fra en prædiktiv algoritme.

For det andet under­sø­ger vi, hvordan de to pro­jek­ters valg af datasæt og registre har betydning for, hvilke børn og/eller familier, der kon­stru­e­res som risikable (cf. Amoore, 2013). Præ­dik­tive algo­rit­mer udleder fremtider fra mønstre og kor­re­la­tio­ner fundet i datasæt. Derfor er de datasæt, der bruges til at træne algo­rit­men, afgørende for, hvilke variabler der får stor vægt, når risikable fremtider attri­bu­e­res til børn og familier. Som Amoore påpeger: “I isolation tilbyder hvert data­e­le­ment kun lidt til bereg­nin­gen af sand­syn­lige risici. Når de forbindes, er det imid­ler­tid vigtigt at kunne lave slut­nin­ger på tværs af data, således at risi­ko­de­ri­va­ter kan genkendes, deles og gøres hånd­gri­be­lige” (2013, s. 63). Det er således vigtigt at undersøge, hvilke over­vej­el­ser, der går ind i pro­jek­ter­nes valg af datasæt, og hvordan disse datasæt gør særlige risiko-kon­struk­tio­ner – og dermed former for tidlig indsats – mulige. Ana­ly­se­stra­te­gisk har vi arbejdet med både pro­ble­ma­ti­se­rin­ger og datasæt i kodningen af vores empiri.

Case­præ­sen­ta­tion og metode

Under­ret­nin­ger i Fokus (UiF) startede op i 2017 som et tvær­fag­ligt sam­ar­bejde mellem soci­al­for­skere på VIA Uni­ver­sity College og sta­ti­sti­kere ved Tryg­fon­dens Bør­ne­forsk­nings­cen­ter på Aarhus Uni­ver­si­tet (BSS). UiF har udviklet en prædiktiv algoritme, der kan beregne børns sand­syn­lig­hed for alvorlig mistriv­sel. Forsk­nings­pro­jek­tets formål er at undersøge, om den som beslut­nings­støtte kan styrke soci­al­rå­d­gi­ve­res beslut­nings­grund­lag ved vur­de­rin­ger af under­ret­nin­ger, herunder undersøge dette tvær­fag­ligt fra et sta­ti­stisk, familie- og soci­al­rå­d­gi­ver­per­spek­tiv. Projektet har valgt under­ret­nin­ger, da soci­al­for­valt­nin­ger landet over er udfor­drede af en stigning i under­ret­nin­ger på 40% i perioden 2015 – 19 (Rosholm et al., 2021).

Både fag­per­so­ner og private har pligt til gennem under­ret­nin­ger at rette hen­ven­delse til de sociale myn­dig­he­der ved­rø­rende bekymring for et barns eller en ungs trivsel og udvikling. Netop kom­mu­ni­ka­tio­nen mellem soci­a­l­om­rå­det og andre for­valt­nings­om­rå­der er central i den tidlige indsats, da særligt ”fag­pro­fes­sio­nelle i børn og forældres hverdag spiller en central rolle i forhold til at opfange tegn på mistriv­sel” og forventes at lave ”en rettidig og kva­li­fi­ce­ret under­ret­ning til kommunens myn­dig­heds­af­de­ling” (Social- og boligsty­rel­sen, 2022). UiF’s præ­dik­tive algoritme skal således under­støtte en eksi­ste­rende praksis for tidlig indsats, nemlig opspor­in­gen af børn i behov for både akut og ikke-akut hjælp gennem underretninger.

UiF’s præ­dik­tive algoritme tildeler det under­ret­tede barn en risi­koscore (1 – 10), og denne skal støtte soci­al­rå­d­gi­verne i deres vurdering af under­ret­nin­gen. Projektet har i dag gen­nem­ført første pilo­tun­der­sø­gelse (Søbjerg, 2022), men også været udsat for en del offentlig kritik (Ratner & Schrøder, 2023). Som følge heraf har projektet ændret forsk­nings­de­sign, så beslut­nings­støt­ten ikke afprøves på faktiske sager, men derimod testsager (Tryg­fon­dens Bør­ne­forsk­nings­cen­ter & VIA, 2022). UiFs præ­dik­tive algoritme er udviklet ved hjælp af super­vi­se­ret maskin­læ­ring på data fra Danmarks Statistik, og projektet anvender anbrin­gelse inden for et år efter mod­ta­gel­sen af under­ret­nin­gen som proxy for alvorlig mistriv­sel. UiFs algoritme er udviklet til at ude­luk­kende at trække data fra soci­a­l­om­rå­det (Tryg­fon­dens Bør­ne­forsk­nings­cen­ter & VIA, 2021).

Gladsaxe begyndte som et udvik­lings­pro­jekt i 2016 og udgør det første danske forsøg på at udvikle en prædiktiv algoritme inden for bør­ne­om­rå­det. I 2017 søgte kommunen som en del af Rege­rin­gens ”Fri­kom­mu­ne­for­søg” om und­ta­gelse for udvalgte para­graf­fer ved­rø­rende data­be­skyt­telse i per­son­da­ta­loven og sund­heds­lo­ven (Kri­sten­sen, 2022). Formålet var at opspore udsatte børn og familier før pro­fes­sio­nel­les mistanke om mistriv­sel blev ind­be­ret­tet via under­ret­nin­ger. Således ope­ra­tio­na­li­se­rer projektet ”tidlig indsats” på en anden måde end Under­ret­nin­ger i Fokus. Modellen skulle kombinere data fra flere registre i kommunen, herunder: beskæf­ti­gel­ses­hi­sto­rik, bopæl; infor­ma­tion om stof­mis­brug, handicap, tandpleje, sund­heds­data, spe­ci­a­lun­der­vis­ning, dagpleje og soci­al­for­valt­nin­gen (internt dokument, Social- og inden­rigs­mi­ni­ste­riet, 2017). Såfremt de fik godkendt deres ansøgning, ville kommunen anvende maskin­læ­ring til at sam­men­køre disse registre og her­i­gen­nem iden­ti­fi­cere højrisiko-familier, som en soci­al­rå­d­gi­ver ville kontakte og tilbyde frivillig hjælp. Projektet blev dog skrinlagt efter en omfat­tende medie-kon­tro­vers, der kri­ti­se­rede Gladsaxe for upro­por­tio­nel over­våg­ning og stig­ma­ti­se­ring af borgerne (Ratner & Schrøder, 2023).

Empirien består af doku­men­ter, medi­e­dæk­ning og inter­views. Doku­men­ter omfatter både offent­ligt til­gæn­ge­lige (fx pro­jekt­be­skri­vel­ser og kommunale stra­te­gier på pro­jek­ter­nes hjem­meside) og interne doku­men­ter (fx fri­kom­mu­ne­an­søg­ning, møde­re­fe­ra­ter, power­po­int-præ­­sen­ta­tio­­ner, mail­kor­re­spon­dance – i alt 20 doku­men­ter). Begge cases har været genstand for omfat­tende debat i offent­lig­he­den. Vi under­søgte også disse debatter som en del af data­ma­te­ri­a­let (26 artikler fremsøgt på Infomedia). Vi har gen­nem­ført et eller flere inter­views med i alt 9 personer, herunder pro­jekt­le­dere, kommunale ledere, data­a­na­ly­ti­kere, soci­al­for­skere og sta­ti­sti­kere. Alle inter­views er trans­skri­be­ret ordret. Jf. vores teo­ri­af­snit, der betoner analysen af algo­rit­mer som en del af en sty­rings­mæs­sig kontekst og som afhængige af pro­jek­te­jer­nes valg af datasæt, er empirien således indsamlet og ana­ly­se­ret med henblik på at kunne skabe viden om disse elementer af de to algoritme-projekter. Vi ana­ly­se­rede og kate­go­ri­se­rede begge cases med fokus på pro­ble­ma­ti­se­rin­ger af eksi­ste­rende praksis og begrun­del­ser for valg af datasæt.

UiF: Når præ­dik­tive algo­rit­mer skal forbedre faglige risi­ko­vur­de­rin­ger af underretninger

UiF’s præ­dik­tive algoritme skal fungere som beslut­nings­støtte ifm. soci­al­rå­d­gi­ve­res risi­ko­vur­de­rin­ger af under­ret­nin­ger. Soci­al­rå­d­gi­vere har 24 timer til at lave en risi­ko­vur­de­ring af en indkommen under­ret­ning, i forhold til hvor akut og alvorlig den er (Lov om Social Service §155(2)). Det skal sikre hurtigst mulig indgriben ved overgreb, vold, eller andre former for akut fare. Men som UiF anfører, ”så omhandler soci­al­rå­d­gi­ve­res beslut­ning (…) i de aller­f­le­ste tilfælde den mindre akutte risiko (…) Det er netop [soci­al­rå­d­gi­ve­res] beslut­nin­gen om risiko, vi med dette projekt har fokus på” (Rosholm et al, 2021, 113). Pro­jek­tets fokus på risiko betoner en støtte til at klas­si­fi­cere under­ret­nin­ger, hvor barnet ikke er i umid­del­bar fare, men i risiko. Dette kan omvendt under­bygge, at den rette (tidlige) indsats sættes i værk. 

UiF pro­ble­ma­ti­se­rer soci­al­rå­d­gi­ver­nes for­ud­sæt­nin­ger for at foretage disse risi­ko­vur­de­rin­ger. Forskerne fra VIA havde forud for Under­ret­nin­ger i Fokus forestået en kva­li­ta­tiv under­sø­gelse af soci­al­rå­d­gi­ve­res risi­ko­vur­de­rin­ger af under­ret­nin­ger. Under­sø­gel­sen doku­men­te­rede, at denne praksis er præget komplekse dilemmaer, for­skel­lige kommunale pro­ce­du­rer for ikke-akutte under­ret­nin­ger samt bety­de­lige vari­a­tio­ner i soci­al­rå­d­gi­ver­nes praksis i forhold til, hvor meget infor­ma­tion, der indgår i risi­ko­vur­de­rin­ger (Villumsen og Søbjerg, 2020). Under­sø­gel­sen kon­klu­de­rede, at et sta­ti­stisk værktøj “poten­ti­elt [kan] være hjælp i relation til både at afklare, hvor hurtigt der egentlig bør handles, og poten­ti­elt også guide til, hvad der bør under­sø­ges nærmere i relation til, hvilke faktorer der giver risiko for markant mistriv­sel senere hen” (Gjedde et al., 2017, s. 3).

Denne pro­ble­ma­ti­se­ring træder igen i UiF’s projektbeskrivelse:

Når en soci­al­rå­d­gi­ver står over for at skulle træffe en beslut­ning ved­rø­rende en borger, kon­fron­te­res hun/han i nogle sager med en stor mængde af infor­ma­tion om barnet og dets familie, der skal tilgås i for­skel­lige fag­sy­ste­mer. Dette kan være en omfat­tende proces, og der er risiko for, at vigtige oplys­nin­ger måske overses, eller at infor­ma­tio­nerne vægtes for­skel­ligt fra sag til sag eller fra rådgiver til rådgiver (Tryg­fon­dens Bør­ne­forsk­nings­cen­ter og VIA, 2021b, s. 4).

Adspurgt om soci­al­rå­d­gi­ve­res udfor­drin­ger i for­bin­delse med risi­ko­vur­de­ring af under­ret­nin­ger, for­kla­rede en af UiF’s forskere, at det er svært at anvende generel viden om risiko- og beskyt­tel­ses­fak­to­rer på den konkrete sag:

Med et pænt ord kalder vi (…) [sags­be­hand­ler­nes vur­de­rin­ger] skøn, men jeg mener, i vir­ke­lig­he­den er det gætværk. Jeg mener, det er gætværk, fordi der intet er at guide dem her. For eksempel ved vi selv­føl­ge­lig, at det ikke er sundt at vokse op i et miljø med alko­hol­mis­brug – det ved vi godt. Men vi ved ikke præcis, hvad risi­ko­fak­to­ren er i forhold til dette spe­ci­fikke barn, under disse spe­ci­fikke omstæn­dig­he­der, i denne præcise insti­tu­tio­nelle sam­men­hæng. (Forsker, VIA, maj 2021).

Arbejdet med at beskytte børn beskrives generelt som ’kompleks’, da børns udsathed ikke skyldes kausale årsager, men derimod non-lineære dyna­mi­k­ker (Munro, 2010). Det er disse ikke-lineære dyna­mi­k­ker, der beskrives som svære at kortlægge i en kontekst af risi­ko­vur­de­rin­ger af under­ret­nin­ger. Den præ­dik­tive algoritme, derimod, kan ifølge en af UiF’s sta­ti­sti­kere poten­ti­elt hjælpe med at analysere ikke-lineære sam­men­hænge i kraft af den maskin­læ­ring, den er udviklet på baggrund af:

I det mindste fore­stil­ler jeg mig, at mistriv­sel ikke kan reduceres til indi­vi­du­elle faktorer (…). Så det handler ikke om, om du f.eks. har syv søskende eller om du er flyttet otte gange inden for to år. I stedet kan det være sam­spil­let mellem nogle af disse input, der for­ud­si­ger børns frem­ti­dige mistriv­sel. (…) Vi kan modellere komplekse rela­tio­ner i data (…) vi kan modellere ikke-lineære forhold mellem variabler (forsker, BSS, oktober 2021).

Som citatet illu­stre­rer, anser forskerne maskin­læ­rings­me­to­der som egnede til at kortlægge komplekse sam­men­hænge mellem risi­ko­fak­to­rer, her forstået som data med høj præ­dik­tions­værdi i histo­ri­ske datasæt.

Som beslut­nings­støtte skal den præ­dik­tive algoritme således bidrage med større præcision i det faglige skøn.

Den kan dog aldrig erstatte det. Som pro­jek­t­del­ta­gerne beskriver i en viden­ska­be­lig artikel, så ønsker de ”at belyse, hvordan vi sikrer, at soci­al­rå­d­gi­ve­ren kan forholde sig kritisk til Beslut­nings­støt­ten og udfordre den, således at den ikke får for stor ind­fly­delse, og at soci­al­rå­d­gi­ve­ren samtidig kan bevare sit soci­al­fag­lige skøn.” (Rosholm et al 2021, 113). Den gode risi­ko­vur­de­ring af under­ret­nin­ger bliver derfor frem­stil­let som en kom­bi­na­tion af den algo­rit­mi­ske risi­koscore og soci­al­rå­d­gi­ver­nes faglige eks­per­tise. På denne måde udpeger UiF’s pro­ble­ma­ti­se­ring således både et problem (pro­fes­sio­nel­les betin­gel­ser for at foretage risi­ko­vur­de­rin­ger af under­ret­nin­ger) og en løsning (en beslut­nings­støtte, der kan modellere ikke-lineære sam­men­hænge der­i­gen­nem præ­dik­tere børns risiko for alvorlig mistrivsel).

Valg af datasæt blev foretaget med et dobbelt hensyn til maskin­læ­rings­pro­ces­sens behov for store datasæt og nød­ven­dig­he­den af kun at træne den på data, som den også lovligt ville kunne trække i en evt. kommunal praksis efter forsk­nings­pro­jek­tet. I forhold til først­nævnte udviklede UiF algo­rit­men på 173,044 under­ret­nin­ger (90.644 børn). I Danmark må kommuner ikke sam­men­køre data fra for­skel­lige vel­færds­sek­to­rer (f.eks. på tværs af skole og soci­al­for­valt­ning) uden samtykke. Modellen blev derfor kun trænet på data, som soci­al­rå­d­gi­vere også har adgang til – og som de lovligt kan bruge – inden for deres egne admi­ni­stra­tive systemer (Tryg­fon­dens Bør­ne­forsk­nings­cen­ter og VIA, 2021b). En juridisk analyse kon­klu­de­rede endvidere, at modellen ikke måtte anvende data om børnenes etniske herkomst eller køn som input-data, da disse variable kan medføre diskri­mi­na­tion (Poul Schmidt, 2021).

Algo­rit­men har været igennem flere ite­ra­tio­ner, hvor præcision, lovlighed, fairness og data­mini­me­ring har været i fokus. Det endte ud i en algoritme, der beregner børns risiko for alvorlig mistriv­sel ved auto­ma­tisk at trække 66 variabler fra for­skel­lige systemer i soci­al­for­valt­nin­gen og på den baggrund tildele barnet en risi­koscore mellem 1 – 10. Algo­rit­men beregner denne risiko-score på baggrund af:

data om barnets alder, flyt­te­hi­sto­rik, antal søskende og antallet af tidligere under­ret­nin­ger, fore­byg­gende for­an­stalt­nin­ger og anbrin­gel­ser inden for de seneste to år. For for­æl­drene til det barn, under­ret­nin­gen vedrører, inddrages data om deres alder ved barnets fødsel, civil­stand, antal partnere de har børn med, samt en indikator for om de er afgået ved døden før under­ret­nings­tids­punk­tet. Sluttelig inde­hol­der modellen infor­ma­tion om antallet af tidligere under­ret­nin­ger, fore­byg­gende for­an­stalt­nin­ger og anbrin­gel­ser inden for de seneste to år for det under­ret­tede barns søskende (Tryg­fon­dens bør­ne­forsk­nings­cen­ter og VIA, 2021a, 7).

Mange variable handler om barnet eller dets søskendes tidligere under­ret­nin­ger, for­an­stalt­nin­ger og anbrin­gel­ser. Men vi ser også, hvordan andre variable, fx forældres civil­stand, anvendes præ­dik­tivt i kom­bi­na­tion med andre variable. Barnets risiko for mistriv­sel beregnes i en ikke-lineær kom­bi­na­tion af disse data. Barnets risi­koscore – som skal hjælpe soci­al­rå­d­gi­vere med at bestemme dets evt. behov for akut eller tidlig indsats – bliver med andre ord kon­stru­e­ret gennem maskin­læ­rings­pro­ces­sens kon­fi­gu­ra­tion af disse variabler som risi­ko­fak­to­rer.

Gladsaxe: Præ­dik­tion til at foregribe symptomer på mistrivsel

Gladsaxe kommune sigtede mod at bruge algo­rit­mi­ske præ­dik­tio­ner til at iden­ti­fi­cere mistriv­sel før under­ret­nin­ger blev sendt afsted til soci­al­for­valt­nin­gen. Ønsket om at sætte ind før under­ret­nin­ger afspejler kommunens daværende strategi med at arbejde med forældre som både res­sour­cer og poten­ti­elle risi­ko­fak­to­rer. Den præ­dik­tive algo­rit­mi­ske teknologi var derfor en af mange ini­ti­a­ti­ver, hvormed Gladsaxe Kommune ønskede at fokusere på tidlig opsporing med fokus på “for­æl­drene, som er dem, der skal skabe de rette livs­be­tin­gel­ser og udvik­lings­mu­lig­he­der for deres børn” (Gladsaxe Kommune, 2016). Denne tilgang impli­ce­rer, som vi vil vise, en anden kon­struk­tion af ”risiko” – og dermed en anden ope­ra­tio­na­li­se­ring af ”tidlig indsats” – end vi ser med UiF’s præ­dik­tive algoritme.

Gladsaxe pro­ble­ma­ti­se­rede selve under­ret­nin­gen som en procedure til at opspore børn i behov for tidlig indsats – som værende for sent. Nedenfor begrunder pro­jekt­le­de­ren beslut­nin­gen om at inddrage en algoritme til tidlig data­ba­se­ret opsporing på følgende vis:

Selvom vi godt kunne se at de var udsatte som små – fx ved ude­bli­velse fra tandlæge, skils­misse, psykisk sygdom mm. Du ved (…) Så gjorde vi ikke noget før de blev 8 år [når en under­ret­ning blev sendt til kommunen]. Når nu vi ved noget om, at de første tre år af et barns levetid er de aller-aller­vig­tig­­ste (…) hvorfor er det så, at vi ikke handler på det… (Pro­jekt­le­der, interview, 29. juni 2021).

Behovet for en algoritme hviler således på en pro­ble­ma­ti­se­ring af den tidlige indsats, under­ret­nin­ger poten­ti­elt skulle opstarte. Denne pro­ble­ma­ti­se­ring blev under­støt­tet med hen­vis­ning til James Heckmans øko­no­mi­ske studier om effekten af inve­ste­rin­ger i den tidlige barndom. Her frem­hæ­vede kommunens strategi bl.a., at “Forskning har vist, at det er en langt bedre inve­ste­ring og giver en væsentlig større effekt at sætte ind over for de yngste børn” (Gladsaxe kommune, 2016). Ikke over­ra­skende førte dette til ambi­tio­nen om at gribe ind før en under­ret­ning blev sendt afsted. Som kommunen beskrev det: “Vi ønsker således fremad­ret­tet at agere mere proaktivt ved at handle på risi­ko­in­di­ka­to­rer hos for­æl­drene, inden der er symptomer på mistriv­sel hos barnet, for dermed at sikre en tidligere og mere effektiv indsats mod udsathed” (internt dokument, Social- og inden­rigs­mi­ni­ste­riet, 2017). En leder for indsatsen i Gladsaxe kommune uddybede i et interview:

Vi ønskede at være mere proaktive (…) det vi gerne ville undgå, var at de [børnene] over­ho­ve­det kom i mistriv­sel, at vi for eksempel kunne se, at deres sprog ikke udviklede sig, eller at de udeblev fra skole eller lignende […] vores pointe var at forudsige det, før det kom dertil (Leder, interview, 6. maj 2021).

Ideen om at handle “proaktivt” gennem algo­rit­misk præ­dik­tion udtrykker et andet forhold til fremtiden end det, vi ser, hos UiF. I stedet for at øge præ­ci­sio­nen i risi­ko­vur­de­rin­ger af allerede iden­ti­fi­ce­rede symptomer på mistriv­sel, ser vi her et ønske om at gribe ind, før der opstår en bekymring. Her kan spores en risi­ko­lo­gik, der søger at foregribe problemer ved at udvide grænsen for, hvad man opsporer som risi­ko­fak­tor.

Hvilke data kan forudse mistriv­sel, før symptomer herpå opstår? Hvor mange af UiFs variabler handler om eksi­ste­rende eller tidligere sociale for­an­stalt­nin­ger, har Gladsaxe brug for data, der kan foregribe disse.  Gladsaxes leder for børne- og fami­lie­om­rå­det for­kla­rede, at denne ambition krævede en øget infor­ma­tions­de­ling på tværs af kommunens forvaltninger:

Vores beskæf­ti­gel­ses­chef siger på et eller andet tidspunkt, at i vir­ke­lig­he­den, så er de jo ovre i job­cen­te­ret de første der ved, når en lang­tids­le­dig mor bliver gravid […] Problemet er bare, at den viden den bliver i job­cen­te­ret. Fordi der findes ikke sådan en ”tryk-videre-knap”. (Leder af børne og fami­lie­ind­sat­ser, interview, 29. Juni 2021).

Lederen uddyber i inter­viewet, at de skulle gøre op med at tænke i indi­vi­du­elle indi­ka­to­rer og den enkelte fag­pro­fes­sio­nel­les respons herpå gennem under­ret­nin­ger og i stedet tænke i sam­men­hænge mellem indi­ka­to­rer, som for den enkelte fagperson kan virke ubetydelige:

De [indi­ka­to­rer] er nogle gange så små, at når man ser dem enkeltvis, er det ikke sikkert, at der er nogle, der reagerer på dem (…) Men vi har allerede data liggende i for­skel­lige fag­sy­ste­mer (…) og det, at vi kom­bi­ne­rer data [fra for­skel­lige for­valt­nin­ger] kan muligvis hjælpe med tidligere hjælp (…) Hvis nu man vidste, at sund­heds­plejen var bekymret, at tand­plejen var bekymret, at beskæf­ti­gel­ses­kon­su­len­ten eller vug­ge­stu­e­pæ­da­go­gen var bekymret (…) så ville vi jo sim­pelt­hen kunne kontakte den her familie (…)  og fortælle dem, at det her var det vi havde fundet og så ville vi kunne tilbyde dem en samtale og se om der er noget, vi kan gøre for at hjælpe. (Leder, interview, 29. juni 2021)

Som citatet illu­stre­rer, pro­ble­ma­ti­se­rede kommunen en for­valt­nings­ind­delt silo­struk­tur, hvor for­skel­lige fag­sy­ste­mer ikke taler sammen. Hvor denne orga­ni­se­ring af infor­ma­tion på den ene side hindrer data i ulovligt at vandre på tværs af for­valt­nings­om­rå­der, hindrer den ifølge pro­jekt­le­de­ren også en tidlig opsporing af udsatte familier, som ellers er mulig ved at sam­men­køre data. Det algo­rit­mi­ske værktøj skulle derfor over­skride denne infra­struk­tu­relle (og juridiske) begræns­ning ved at forbinde data fra for­skel­lige for­valt­nings­om­rå­ders fag­sy­ste­mer og generere et mere ”komplet” billede af risici ved at “bruge de data, som vi rent faktisk har som mulighed” (Kommunal direktør, interview, 21. april 2021).

Med denne pro­ble­ma­ti­se­ring af den eksi­ste­rende data­in­fra­struk­tur søgte Gladsaxe kommune Inden­rigs­mi­ni­ste­riet om til­la­delse til at påbegynde en syste­ma­tisk “samkøring af data” på tværs af for­skel­lige faglige områder (Social- og inden­rigs­mi­ni­ste­riet, 2017). Som de beskrev i en intern rede­gø­relse: “Data indhentes fra relevante fag­sy­ste­mer både på gruppen af udsatte børn og vores kon­trol­gruppe samt forældre. Der opereres på nuværende tidspunkt med 44 poten­ti­elle risi­ko­in­di­ka­to­rer fordelt på 9 data­kil­der” (Gladsaxe kommune, 2018). Indi­ka­to­rer kunne omfatte ting som “ude­bli­velse fra tandpleje”, “beskæf­ti­­gel­­ses-/le­­dig­heds­­hi­­sto­rik”, “mis­brugs­data”, “sund­heds­ple­jens data” osv. Nogle af disse data kunne indsamles allerede ved moderens gravi­di­tet. Data, der blev set som afgørende for tidlig opsporing, blev pri­o­ri­te­ret. For eksempel frem­hæ­vede kommunen vig­tig­he­den af at inkludere sund­heds­data, da denne data regi­stre­res fra barnets fødsel (Gladsaxe kommune, 2018), og “data der bistår i iden­ti­fi­ce­rin­gen af børn/unge i Gladsaxe kommune som placerer sig i risi­kozo­nen” (Social- og inden­rigs­mi­ni­ste­riet, 2017).

Kommunen under­stre­gede nød­ven­dig­he­den af et fortsat fagligt skøn: “Vi ønsker derfor at modellen skal ligge til grund for en tidlig opmærk­som­hed, hvor en faglig vurdering altid vil begrunde en videre behand­ling” (Gladsaxe kommune, 2018). På samme måde for­kla­rede direk­tø­ren for børne- og unge­om­rå­det i et interview: “outputtet er beregnet til at blive brugt af fag­per­so­ner, før de kontakter fami­li­erne”. I mod­sæt­ning til UiF, der ville anvende algo­rit­misk præ­dik­tion til beslut­­nings-støtte på en allerede fag­pro­fes­sio­nelt genereret under­ret­ning, medfører Gladsaxes algoritme, hvad vi kan kalde beslut­­nings-gene­re­ring: Den iden­ti­fi­ce­rer en familie først vha. værktøjet, hvorefter en soci­al­rå­d­gi­ver (sammen med familien) tager beslut­ning om det videre forløb i forhold til en tidlig indsats, der fore­gri­ber symptomer på mistrivsel.

Kon­klu­sion

I denne artikel har vi sam­men­lig­net to ikke-imple­­men­te­rede forsøg på at bruge maskin­læ­ring til at forudsige børns risiko for alvorlig mistriv­sel. Begge pro­jek­ters præ­dik­tive algo­rit­mer ligger i for­læn­gelse af eksi­ste­rende sty­rings­lo­gik­ker, hhv. lov­plig­tige risi­ko­vur­de­rin­ger af under­ret­nin­ger og en kommunal strategi om tidlig indsats. Vi har undersøgt algo­rit­mi­ske risi­ko­kon­struk­tio­ner ved at analysere de to pro­jek­ters (1) pro­ble­ma­ti­se­rin­ger af eksi­ste­rende prak­sis­ser, og (2) data der anvendes til at udvikle algo­rit­men. Som det fremgår af Tabel 1, så indebærer dette for­skel­lige kon­fi­gu­ra­tio­ner af den tidlige indsats, selvom de to algo­rit­mer ved første øjekast ligner hinanden. Præ­dik­tive algo­rit­mers ope­ra­tio­na­li­se­ring af risiko har således impli­ka­tio­ner for, hvordan behovet for tidlig indsats iden­ti­fi­ce­res, og hvornår den fore­stil­les at skulle starte.

Hos UiF skal den præ­dik­tive algo­rit­mer under­støtte soci­al­rå­d­gi­ve­res risi­ko­vur­de­rin­ger ved, at algo­rit­men udvælger og evaluerer data fra soci­al­for­valt­nin­gens fag­sy­ste­mer og trans­for­me­rer dem til en risi­koscore. Gladsaxe derimod stræbte efter at forudsige børns risiko for mistriv­sel så tidligt som muligt, poten­ti­elt allerede fra moderens gravi­di­tet. UiF’s algoritme er reaktiv i den forstand, at den først anvendes efter, en under­ret­ning er modtaget. På samme måde afspejler en stor andel af algo­rit­mens variabler netop tidligere eller igang­væ­rende sociale for­an­stalt­nin­ger. Gladsaxes algoritme tager derimod en proaktiv form og pro­fi­le­rer borgere som risi­koob­jek­ter, inden symptomer, der kan føre til en under­ret­ning, opstår. Til­sva­rende er data­sam­men­kørs­len mere omfat­tende, idet data om for­æl­drene fra for­skel­lige for­valt­nin­ger anvendes af algo­rit­men. Dette illu­stre­rer to for­skel­lige forhold til fremtiden: UiF’s beregning af risiko ved en begrundet bekymring overfor Gladsaxe, der ser alle familier som poten­ti­elle risici.

 UiFGladsaxe
Pro­ble­ma­ti­se­ringFaglige vur­de­rin­ger af under­ret­nin­ger er for usikre.Den offent­lige sektors data­in­fra­struk­tur hindrer tidlig opsporing af børn.
Data­grund­lagData om familien fra socialforvaltning.Data om forældre og børn fra for­skel­lige forvaltningsområder
Formål med algo­rit­misk prædiktionAt øge præ­ci­sio­nen i soci­al­rå­d­gi­ve­res risi­ko­vur­de­rin­ger af underretninger.At forudsige mistriv­sel, før symptomer opstår og før under­ret­nin­ger indsendes.
Risiko-objektBørn med underretninger.Pro­fi­le­ring af samtlige familier i kommunen
Tidlig indsatsDen rette risiko-klas­si­fi­ka­tion af ikke-akutte underretningerOpsporing af familier, der befinder sig i en såkaldt ”risiko-zone”.
Tabel 1: Sam­men­lig­ning af de to pro­jek­ters præ­dik­tive algoritmer

Den algo­rit­mi­ske præ­dik­tion af mistriv­sel er hverken apolitisk eller neutral, men kan inten­si­vere risi­ko­lo­gik­ker. I Gladsaxes tilfælde kan den gøre familier, der ellers ikke er i kontakt med soci­al­for­valt­nin­gen, synlige som ”risikable” og i behov for tidlig inter­ven­tion. I UiFs tilfælde betyder det mere begræn­sede valg af variable omvendt, at alene det, at man allerede har modtaget hjælp fra soci­al­for­valt­nin­gen, bliver set som en risi­ko­fak­tor. Valg af algo­rit­mens data har således afgørende betydning for, hvad der kan iagttages som risiko og dermed blive anledning til tidlig indsats.

De præ­dik­tive algo­rit­mer går natur­lig­vis ikke forud de sty­rings­lo­gik­ker, de udsprin­ger af. Ikke desto mindre bør vi forstå algo­rit­mers risiko-scoring af børn som en ny gover­n­men­tal taktik ift. at kende og inter­ve­nere i fremtiden. Som Amoore (2013: 9) påpeger, medfører intro­duk­tio­nen af præ­dik­tive algo­rit­mer, at vi forstår risiko som et kal­ku­ler­bart og dermed hånd­ter­bart element. Det betyder også, at alene løftet om algo­rit­mi­ske bereg­nin­ger af risici, også ved under­ret­nin­ger der i forvejen er underlagt en risiko-logik, har kon­se­kven­ser. Munro (2010) anfører fx, at metoder til beregning af risiko som regel medfører en øget ansvar­lig­gø­relse af soci­al­for­valt­nin­ger for begi­ven­he­der og livs­for­løb, der finder sted i fremtiden.

Begge eksempler illu­stre­rer, hvordan præ­dik­tive algo­rit­mer poten­ti­elt kan ope­ra­tio­na­li­sere en ”mulig­he­der­nes politik” (Amoore, 2013) gennem risiko-scoring af børn. Som ikke-imple­­men­te­rede eks­pe­ri­men­ter er de endvidere inter­es­sante i samtidens debat om, hvordan staten skal gribe tidligt ind i borgernes ukendte fremtider gennem algo­rit­misk præ­dik­tion. Herved relaterer casene sig også til bredere spørgsmål om, hvordan eller hvorvidt staten skal bruge algo­rit­mer til at gøre ukendte fremtider til genstand for styring, samt hvilke rela­tio­ner vi skal have til vores (ukendte) fremtid, ikke mindst i bestræ­bel­sen på tidlig indsats. Her er det afgørende at have en demo­kra­tisk debat om, i hvilket omfang vi er villige til at leve med at blive ana­ly­se­ret af algo­rit­mer. Dette inklu­de­rer fun­da­men­tale valg om, hvorvidt vi skal holde vores fremtid åben eller at forstå den som algo­rit­misk bereg­ne­lige risici i den tidlige indsats navn.

Refe­ren­cer

AI Now Institute (2018). Liti­gat­ing algo­rit­hms: Chal­len­ging gover­n­ment use of algo­rit­h­mic decision systems. AI Now Institute.

Amoore, L. (2013). The Politics of Pos­si­bi­lity. Risk and Security beyond Pro­ba­bi­lity. Duke Uni­ver­sity Press.

Birk, R. H., & Elmholdt, K. T. (2020). Making space with data: Data politics, sta­ti­stics and urban gover­nance in Denmark. STS Enco­un­ters, 11(1).

Cevolini, A. & Esposito, E. (2020). From pool to profile: Social con­sequen­ces of algo­rit­h­mic pre­di­ction in insurance. Big Data & Society 7(2).

Cuccaro-Alamin, S., Foust, R., Vait­hi­a­nat­han, R., & Putnam-Hornstein, E. (2017). Risk asses­sment and decision making in child pro­tective services: Pre­di­ctive risk modeling in context. Children and Youth Services Review, 79, 291 – 298.

Des­ro­sières, A. (1998). The politics of large numbers: A history of sta­ti­sti­cal reasoning. Harvard Uni­ver­sity Press.

Dunleavy, P., & Margetts, H. (2023). Data science, arti­fi­cial intel­li­gence and the third wave of digital era gover­nance. Public Policy and Admi­ni­stra­tion.

Ejrnæs, M., & Monrad, M. (2022). Over­dre­ven risi­koop­fat­telse, men under­dre­ven chan­ceulig­hed? – Risi­ko­vur­de­rin­gerbørn- og unge området. Dansk pæda­go­gisk tids­skrift. 2022(1), 1 – 20.

Eubanks, V. (2018). Auto­mat­ing Inequa­lity: How High-Tech Tools Profile, Police, and Punish the Poor. New York, NY: St. Martin’s Press.

Ewald, F. (1990). Norms, disci­pline, and the law. Rep­re­sen­ta­tions 30 (Spring): 138 – 161.

Foucault, M. (1980). Power/Knowledge: Selected Inter­views and Other Writings, 1972 – 1977. New York: Pantheon Books.

Foucault, M. (2009). Security, Territory, Population:Lectures at the Collège de France 1977 – 1978. New York: Palgrave Macmillan.

Gjedde, C. A., Villumsen, A. M., Klitbjerg-Nielsen, C., & Søbjerg, L. M. (2017). Projekt Beslut­nings­støtte vedun­der­ret­nin­ger: et kort over det kva­li­ta­tive landskab med vurdering af under­ret­nin­ger. Aarhus: VIA Uni­ver­sity College.

Gladsaxe kommune (2016) Strategi for tidlig indsats 2016 – 2019. Til­gæn­ge­lig på: https://gladsaxe.dk/Files//Files/Faelles-dokumenter/Planer-politikker-visioner/BKF/Strategi-for-Tidlig-indsats_v2.pdf, Gladsaxe kommune.

Gladsaxe kommune (2018) ”Bilag til Data­un­der­støt­tet opsporing af udsatte børn”, Gladsaxe kommune.

Hacking, I. (1990). The taming of chance . Cambridge Uni­ver­sity Press.

Høybye-Mortensen, M., & Kjeldsen, L. (2021). Kunstig intel­li­gens i socialt arbejde: kan vi skelne mellem skidt og kanel?. Social Kritik: Tids­skrift for social analyse & debat, 33(163), 83 – 95.

Jørgensen, R. F. (2023). Data and rights in the digital welfare state: The case of Denmark. Infor­ma­tion, Com­mu­ni­ca­tion & Society, 26(1), 123 – 138.

Jørgensen, A. M., & Nissen, M. A. (2022). Making sense of decision support systems in child pro­tection: Ratio­na­les, trans­la­tions and poten­ti­als for critical reflections on the reality of child pro­tection. Big Data & Society, 9(2).

Kri­sten­sen K (2022) Hvorfor Gladsaxe­mo­del­len fejlede – om anven­delse af algo­rit­mer på socialt udsatte børn. Sam­funds­le­der­skab i Skan­di­navien, 37(1). 1: 27 – 49.

Leslie D, Holmes D, Hitrova C, et al. (2020) Ethics Review of Machine Learning in Children’s Social Care. What works for children’s social care. Available at: http://​whatworks​-csc​.org​.uk/​r​e​s​e​a​r​c​h​ – ​r​e​p​o​r​t​/​e​t​h​i​c​s​ – ​r​e​v​i​e​w​ – ​o​f​ – ​m​a​c​h​i​n​e​ – ​l​e​a​r​n​i​n​g​ – ​i​n​ – ​c​h​i​l​d​r​e​n​s​ – ​s​o​c​i​a​l​ – ​c​a​re/.

Meilvang, M. L., & Dahler, A. M. (2022). Decision support and algo­rit­h­mic support: The con­struction of algo­rit­hms and pro­fes­sio­nal discre­tion in social work. European Journal of Social Work, 0(0), 1 – 13.

Munro E (2010) Learning to Reduce Risk in Child Pro­tection. The British Journal of Social Work 40(4): 1135 – 1151.

Poul Schmidt (2021): For­valt­nings­ret­lig lega­li­tets­kon­trol af Beslut­nings­støt­ten, 4013021 JNO/ATAB/ELMI, https://​chil​d​re​search​.au​.dk/​f​i​l​e​a​d​m​i​n​/​c​h​i​l​d​r​e​s​e​a​r​c​h​/​d​o​k​u​m​e​n​t​e​r​/​B​e​s​l​u​t​n​i​n​g​s​s​t​o​e​t​t​e​/​F​o​r​v​a​l​t​n​i​n​g​s​r​e​t​l​i​g​_​l​e​g​a​l​i​t​e​t​s​k​o​n​t​r​o​l​_​a​f​_​B​e​s​l​u​t​n​i​n​g​s​s​t​o​e​t​t​e​n​.​pdf , Poul Schmidt.

Ratner, H. (2020). Euro­pe­a­nizing the Danish school through national testing: Stan­dar­dized asses­sment scales and the anti­ci­pa­tion of risky popu­la­tions. Science, Tech­no­logy, & Human Values45(2), 212 – 234.

Ratner, H. (2021). Præ­dik­tive algo­rit­mer: Den fore­byg­gende stat og den risi­koscorede borger. In K. Escherich , & M. Jarlner (Eds.), Fra vel­færds­stat til over­våg­nings­stat : Algo­rit­mer­nes magt i den offent­lige for­valt­ning (pp. 93 – 116). Djøf Forlag: København.

Ratner, H. F., & Elmholdt, K. T. (2023). Algo­rit­h­mic con­structions of risk: Anti­ci­pat­ing uncertain futures in child pro­tection services. Big Data & Society, 10(2), 1 – 12.

Ratner, H. F., & Schrøder, I. (2023). Ethical Plateaus in Danish Child Pro­tection Services: The Rise and Demise of Algo­rit­h­mic Models. Science & Tech­no­logy Studies, 0(0), 1 – 18.

Rosholm, M., Toft, S. D., Villumsen, A. M., Bodilsen, S., & Nir­ma­la­ra­jan, L. Y. (2021). Algo­rit­mer og machine learning i socialt arbejde? Social Kritik, 33(163), 110 – 123.

Ruppert, E. (2012). The gover­n­men­tal topo­lo­gies of database devices. Theory, Culture & Society29(4 – 5), 116 – 136.

Social- og inden­rigs­mi­ni­ste­riet (2017) ”Ansøgning om konkrete forsøg i Fri­kom­mu­ne­for­søg II”.

Social- og boligsty­rel­sen (2022) ”Tidlig opsporing og reaktion”. Til­gæn­ge­lig på https://​social​.dk/boern-og-unge/­­for­an­stalt­­nin­­ger/vi­­den-og-tema­er/­­tid­lig-opsporing-og-reaktion, Social- og boligstyrelsen.

Søbjerg, L. M. (2022). Deve­l­o­ping a sta­ti­sti­cal model for asses­sment of referrals of children at risk. Child abuse review, 31(4), 27 – 49.

Tryg­fon­dens bør­ne­forsk­nings­cen­ter og VIA Uni­ver­sity college (2021a): Egen­ska­ber ved den sta­ti­sti­ske model i forsk­nings­pro­jek­tet Under­ret­nin­ger i fokus. https://​chil​d​re​search​.au​.dk/​f​i​l​e​a​d​m​i​n​/​c​h​i​l​d​r​e​s​e​a​r​c​h​/​d​o​k​u​m​e​n​t​e​r​/​U​n​d​e​r​r​e​t​n​i​n​g​e​r​/​2​0​2​2​0​6​1​7​_​E​g​e​n​s​k​a​b​e​r​_​v​e​d​_​d​e​n​_​s​t​a​t​i​s​t​i​s​k​e​_​m​o​d​e​l​_​U​i​F​.​pdf  

Tryg­fon­dens bør­ne­forsk­nings­cen­ter og VIA Uni­ver­sity college (2021b): Kort pro­jekt­be­skri­velse: Forsk­nings­pro­jek­tet Under­ret­nin­ger i fokus. https://​chil​d​re​search​.au​.dk/​f​i​l​e​a​d​m​i​n​/​c​h​i​l​d​r​e​s​e​a​r​c​h​/​d​o​k​u​m​e​n​t​e​r​/​U​n​d​e​r​r​e​t​n​i​n​g​e​r​/​2​0​2​2​0​6​2​0​_​K​o​r​t​_​p​r​o​j​e​k​t​b​e​s​k​r​i​v​e​l​s​e​.​pdf  

Tryg­fon­dens bør­ne­forsk­nings­cen­ter og VIA Uni­ver­sity college (2022): Notat om ændringer i projekt Under­ret­nin­ger  i fokus. https://​chil​d​re​search​.au​.dk/​f​i​l​e​a​d​m​i​n​/​c​h​i​l​d​r​e​s​e​a​r​c​h​/​d​o​k​u​m​e​n​t​e​r​/​U​n​d​e​r​r​e​t​n​i​n​g​e​r​/​2​0​2​2​0​6​2​0​_​N​o​t​a​t​_​a​e​n​d​r​i​n​g​_​i​_​p​r​o​j​e​k​t​d​e​s​i​g​n​_​j​u​n​i​_​2​0​2​2​.​pdf  

Villumsen AM and Søbjerg LM (2020) Informal pathways as a response to limi­ta­tions in formal cate­go­riza­tion of referrals in child and family welfare. Nordic Social Work Research 0(0). Routledge: 1 – 12.

Wishart, D., Taylor, A., & Shultz, L. (2006). The con­struction and pro­duction of youth ‘at risk.’ Journal of Education Policy, 21(3), 291 – 304.