Als reactie op de datafraude die door twee bureaus in Amerika werd gepleegd, oppert Enric Cid (Strategy & Product Director bij Netquest-Bilendi) de mogelijkheid van een nieuwe metric om de kwaliteit van de respondenten beter te meten en het vertrouwen in marktonderzoekdata te herstellen. ‘Geef prioriteit aan respondentbetrokkenheid op de lange termijn.’
▼
De recente aanklachten tegen medewerkers van Opinions for Good en Slice MR voor fraude met respondenten en data hebben de marktonderzoekbranche in Amerika, maar ook wereldwijd, geschokt. Ze zorgen voor een ernstige vertrouwensbreuk en het laat zien dat het systeem onder druk staat. De datakwaliteit is al jaren stilletjes aan het verwateren, zegt Enric Cid: ‘Kortetermijnsteekproeven, geautomatiseerde werving en eenmalige deelname aan onderzoek zorgen dat fraude kan gedijen. Bots, clickfarms en door AI gegenereerde data zijn geen kleine risico’s meer, ze zijn dagelijkse realiteit.’ Wat ontbreekt, zegt Cid, is een betrouwbare en bruikbare manier om de kwaliteit van respondenten te meten.
Dan komt het zogenaamde ‘herhaalcontact’ om de hoek kijken: een eenvoudige, schaalbare metric die duidelijkheid kan geven over de betrouwbaarheid van respondenten.
Het herhaalcontact is het percentage respondenten dat na een bepaalde periode, bijvoorbeeld drie, zes of twaalf maanden, met opnieuw – en met succes – kan worden betrokken bij onderzoek. Dat is niet alleen een maatstaf voor bereikbaarheid. Het is een garantie voor betrouwbaarheid en betrokkenheid.
In onderzoek is repliceren essentieel. Als de resultaten niet kunnen worden gereproduceerd, zijn ze niet geloofwaardig. Maar ook: als respondenten na een enkele enquête weer verdwijnen, is dat funest voor de data. Een sterk herhaalcontactpercentage zorgt voor stabiliteit en opent de deur naar echte replicatiestudies – iets wat de branche hard nodig heeft.
Hechte band verdwijnt
De ontwikkeling van steekproeven heeft voordelen opgeleverd, maar ook fragmentatie. Putten uit diverse bronnen en river sampling domineren nu het onderzoekslandschap. Ze zorgen voor schaalgrootte en kostenefficiëntie, maar nemen de hechte band met de respondent weg.
Slechte enquête-ervaringen, ‘redirects’ en gebrek aan prikkels ontmoedigen deelname aan onderzoek. Wanneer vervolgens goede respondenten vertrekken, vullen fraudeurs het gat, aangemoedigd door tools waarmee ze echt gedrag kunnen nabootsen en traditionele detectiemethoden kunnen omzeilen. Hoewel automatisering en API-gestuurde steekproeven de efficiëntie verbeteren, hebben ze ook de respondent als handelswaar in het leven geroepen. Het resultaat: winst op korte termijn, erosie van vertrouwen en verlies van datakwaliteit op lange termijn.
Continue interactie
Enric Cid pleit voor een nieuwe definitie van kwaliteit. Drie zaken zijn dan belang:
- Waarheidsgetrouwheid: Eerlijke, nauwkeurige antwoorden zonder een verkeerde voorstelling van zaken.
- Bedachtzaamheid: Betrokkenheid bij vragen, niet alleen het aanvinken van vakjes.
- Assertiviteit: Bereidheid om duidelijke, zinvolle antwoorden te geven, geen vage statements.
Controle op de aandacht van respondenten en kijken naar completes zijn een begin. Echt inzicht in het gedrag van respondenten komt voort uit continue interactie en observeren hoe iemand in de loop van de tijd antwoordt.
Daarom is het herhaalcontactpercentage belangrijk. Het is niet alleen een datapunt. Het is een bewijs dat iemand bereid is om weer te komen opdagen – en een signaal dat diegene waarschijnlijk weer dezelfde kwaliteit levert.
Betrokkenheid op de lange termijn
Panels mogen niet statisch zijn, maar wel stabiel. Herhaalcontact moet worden afgewogen tegen vernieuwing van panels. Respondenten die langdurig meewerken, zorgen dan wel voor consistentie, maar ze kunnen ook gewoonten of vooroordelen ontwikkelen. Het mengen van nieuwe en ervaren deelnemers helpt om deze risico’s te beperken.
Het herhaalcontactpercentage biedt een duidelijke, repliceerbare en zinvolle manier om de datakwaliteit te beoordelen, zeker nu er meer nodig is dan oppervlakkige controle. Enric Cid stelt ten slotte: ‘Het is tijd om prioriteit te geven aan onderzoek dat betrokkenheid op de lange termijn weerspiegelt, en niet alleen efficiënt is op korte termijn.’
Bron: greenbook.org