Gedragswetenschap en sociaal onderzoek krijgen al jaren kritiek omdat ze vaak leunen op een beperkt perspectief: westers, hoogopgeleid, democratisch en overwegend wit. Nieuw onderzoek van onder anderen Jan Stoop in Proceedings of the National Academy of Sciences onderstreept die zorg. De studie, gebaseerd op Amerikaanse data, laat zien hoe sterk onderzoeksuitkomsten kunnen verschuiven wanneer andere populaties worden meegenomen dan de gebruikelijke, relatief homogene groepen. Opvallend is dat verschillen tussen raciale en etnische groepen in sommige gevallen net zo groot zijn als de bekende verschillen tussen mannen en vrouwen. Met andere woorden: etnische verschillen kunnen minstens zo bepalend zijn als gender.
▼
Hoewel het onderzoek in de VS is uitgevoerd, is de relevantie breder. De Verenigde Staten gelden als westers referentiekader in veel gedrags- en marktonderzoek, en Amerikaanse inzichten vinden vaak hun weg naar Europa en Nederland. Veel conclusies die als algemeen geldend worden gepresenteerd, blijken in werkelijkheid contextgebonden. In de praktijk komt het hierop neer: als je steekproef smal is, dan zijn je inzichten dat ook.
Van academische bias naar marktonderzoek
In de academische wereld wordt al jaren gewezen op het probleem van beperkte steekproeven. Veel gedragsstudies zijn uitgevoerd onder specifieke groepen die niet representatief zijn voor de totale bevolking. Dat leidt tot inzichten die binnen één context kloppen, maar elders minder geldig zijn.
Het recente onderzoek bevestigt dat veel gedragsdata nog altijd leunen op zogenoemde WEIRD-populaties: Western, Educated, Industrialized, Rich en Democratic, oftewel westers, hoogopgeleid, geïndustrialiseerd, rijk en democratisch. Wanneer andere groepen worden meegenomen, verschuiven uitkomsten zichtbaar. Zo blijken witte Amerikanen zonder Latijns-Amerikaanse achtergrond gemiddeld minder competitief en juist meer bereid om risico te nemen dan zwarte en Latijns-Amerikaanse Amerikanen. Die verschillen zijn qua omvang vergelijkbaar met de bekende verschillen tussen mannen en vrouwen. Toch blijken deze bevindingen rond gender niet automatisch voor alle etnische groepen te gelden. Waar binnen witte en Latijns-Amerikaanse groepen mannen vaker competitiever en risicobereider zijn dan vrouwen, is dat verschil binnen de zwarte populatie niet zichtbaar.
Die dynamiek zie je ook terug in commerciële marktonderzoekpraktijken. Panels zijn niet altijd volledig representatief. Respons komt vaker van bepaalde groepen. Digitale surveys bereiken vooral mensen die digitaal vaardig zijn. Wat je meet, wordt bepaald door wie je meet.
Wat dit doet met data
Voor data-analisten betekent dit dat bias niet alleen een methodologisch probleem is, maar een data-probleem. Vertekening sluipt in:
- De samenstelling van je dataset
- De vragen die worden gesteld
- De manier waarop variabelen zijn gedefinieerd
- De aannames in je modellen
Als een doelgroep structureel ondervertegenwoordigd is, worden patronen verkeerd geïnterpreteerd. Wordt gedrag vooral gemeten binnen één culturele of sociaaleconomische context, dan kunnen conclusies elders anders uitpakken.
De link met besluitvorming en wat professionals kunnen doen
In eerdere gesprekken binnen DDB, onder andere met Mustafa Torun van Invest-NL, kwam naar voren dat data pas waarde krijgt wanneer duidelijk is wat erachter zit. Wie aan het stuur zit, moet weten waar data vandaan komt, welke aannames erin besloten liggen en welke groepen mogelijk buiten beeld blijven. Bias raakt daardoor niet alleen analyses, maar ook investeringsbeslissingen, productontwikkeling en marketingstrategieën. Een verkeerd geïnterpreteerde trend kan miljoenen kosten. Bias volledig elimineren is niet realistisch, maar het kan wel worden verkleind en expliciet worden gemaakt.
Dat vraagt om kritisch te kijken naar de representativiteit van steekproeven, beperkingen transparant te rapporteren, waar nodig weging toe te passen, meerdere databronnen te vergelijken en modellen te toetsen op verschillende subgroepen. Ook kwalitatief onderzoek speelt een rol, omdat context helpt cijfers beter te duiden.
Wie bias negeert, vergroot het risico op verkeerde conclusies
De discussie over bias past in een bredere beweging binnen data en AI. Nu algoritmen steeds vaker meebeslissen, wordt de kwaliteit van de onderliggende data alleen maar belangrijker. Wat aan de voorkant scheef zit, werkt door in elke analyse en elk model.
Bias negeren vergroot de kans op verkeerde conclusies. Bias bewust meenemen in ontwerp en analyse maakt inzichten sterker en betrouwbaarder. De vraag is niet of bias bestaat, die is er altijd. De echte vraag is hoe bewust organisaties ermee omgaan en in hoeverre analyses zo zijn ingericht dat vertekening op tijd wordt herkend, voordat die de besluitvorming beïnvloedt.