Het is een feit: verschillende online panels leveren verschillende resultaten op. Niet per se resultaten die genoeg verschillen om de insights te veranderen die je uit de resultaten zou halen, maar genoeg om bijvoorbeeld je trackingtrends te verstoren. En misschien wel genoeg om je gemoedsrust te dwarsbomen. Stefan Boom van Dynata schreef er een blog over.
Om te begrijpen hoe het zit met de verschillende resultaten, moeten we in traditionele termen denken over steekproeven. Steekproeven, als ze willekeurig getrokken worden, vertegenwoordigen het kader waaruit ze gehaald worden. In traditionele methoden waren het kader en de populatie synoniem. Iedereen had een gelijke kans om geselecteerd te worden. Er werd slechts een deel niet gedekt, sommige mensen hadden geen telefoon, sommige adressen konden of wilden niet benaderd worden, maar dit was marginaal. De kaders voor zowel telefonisch als face-to-face onderzoek waren universeel, vast en onafhankelijk van de marktonderzoekindustrie.
Dit is nooit het geval geweest voor online. We kunnen niet universeel zijn omdat er niet één plek op het internet is waar iedereen naartoe gaat, noch is er één opslagplaats van persoonlijke contactgegevens van alle internetgebruikers, en (natuurlijk) zou het sturen van spamberichten naar willekeurige mobiele telefoonnummers verkeerd zijn. Dus vertrouwen we op online access panels en exchanges. Wat stellen deze frames dan voor? Niets meer dan de bronnen waaruit ze worden gerekruteerd. Elke data-provider heeft zijn eigen angstvallig bewaakte reeks bronnen die hij gebruikt om te rekruteren, en het is dit verschil plus wat je ‘huiseffecten’ zou kunnen noemen, afhankelijk van hoe het panel onderhouden wordt, dat ervoor zorgt dat elk panel verschillende resultaten oplevert.
Nu zorgt elke bron per definitie voor bias, omdat iedereen die uit die bron komt dat ene ding gemeen heeft. Het is dan ook logisch dat de minste bias wordt verkregen door het aantal bronnen waaruit gerekruteerd wordt te maximaliseren. Zo min mogelijk vooringenomenheid, gekoppeld aan de juiste toepassing van quotacontrole, zorgt voor maximale representativiteit. En dat is waarom multi source recruitment per definitie voor de beste, meest representatieve en accurate insights zorgt.
Auteur: Stefan Boom, Managing Director, Benelux & Nordics bij Dynata
Dynata is hoofdsponsor van uitreiking van de Data & Insights Awards 2023 op 29 juni a.s.