Wie met data werkt, kent de redenering. Je traint een model op historische data, het model voorspelt risico, en je stuurt je capaciteit op die voorspelling. Efficiënt, schaalbaar en objectief. De Staatscommissie tegen Discriminatie en Racisme onderzocht hoeveel van die objectiviteit in de praktijk overeind blijft, en de conclusie van haar voortgangsrapportage Principes voor profilering is niet mild.
▼
Wie met voorspellende modellen werkt, herkent wat er misgaat. Modellen worden getraind op historische data. Die data weerspiegelen eerdere beslissingen, eerdere controles en eerder toezicht. Groepen die historisch vaker werden gecontroleerd, genereren meer data over overtredingen en worden daardoor als risicovoller aangemerkt in nieuwe modellen. Zo versterkt profilering zichzelf, zonder dat iemand dat bewust zo heeft ontworpen. De Staatscommissie noemt dit feedbackloops: zichzelf versterkende cycli die in relatief korte tijd veel vertekening opleveren. Dit mechanisme beperkt zich niet alleen tot de overheid. Het speelt overal waar historische data de basis vormen voor voorspellende modellen, zoals targeting, klantscoring en segmentatie.
Wat het rapport ook blootlegt, is het verschil tussen technische en normatieve keuzes. Profilering wordt door overheidsorganisaties gepresenteerd als een technische keuze gericht op efficiëntie, maar de Staatscommissie stelt dat dit misplaatst is. Welke variabelen worden opgenomen, welke groepen daardoor vaker in beeld komen en welke aannames ten grondslag liggen aan een risicoscore: het zijn allemaal normatieve keuzes, ook als ze verscholen zitten in een algoritme.
Dan de effectiviteitsvraag, en die is voor de insights-professional het meest direct relevant. Profilering wordt vaak gerechtvaardigd met een beroep op efficiëntie en effectiviteit. Maar de Staatscommissie constateert dat die effectiviteit in de praktijk zelden aantoonbaar is. Daar voegt het rapport een scherpe methodologische observatie aan toe: effectiviteit wordt vaak te smal gedefinieerd. De focus ligt op het opsporen van meer overtredingen, terwijl bredere doelen als rechtvaardigheid en maatschappelijk vertrouwen buiten beschouwing blijven. Dat is uiteindelijk ook een meetprobleem. De reclassering gebruikte het OxRec-algoritme bijvoorbeeld 44.000 keer per jaar, terwijl al in 2020 signalen binnenkwamen over de mogelijk discriminerende werking ervan. Pas in 2026 werd het gebruik stilgelegd.
Voor data- en insights-professionals is de les niet dat modellen per definitie fout zijn. De les is dat de keuzes die aan modellen voorafgaan niet neutraal zijn. Ontbreekt die reflectie, dan kunnen systemen uitkomsten produceren die pas achteraf zichtbaar worden als onrechtvaardig.
Bron: Staatscommissie tegen Discriminatie en Racisme, Principes voor profilering (mei 2026) / UvA, interview met Sennay Ghebreab (7 mei 2026)
Lees ook op Daily Data Bytes (DDB): Mustafa Torun over AI, bias en menselijk oordeel en Wat militaire AI-systemen laten zien als systemen de keuzes maken