Steekproeven, zelfselectie en online panels

Stijgende kosten en groeiende non-respons, hoe lang kunnen opdrachtgevers zich nog nette kanssteekproeven en kwaliteitspanels veroorloven? Dat was het centrale thema op een internationale workshop in Mannheim afgelopen zomer. Natuurlijk heeft iedere onderzoeker en gebruiker van data belang bij goede kwaliteit en hoge accuraatheid, maar welk prijskaartje hangt daaraan? En waarop is de superioriteit van aselecte kanssteekproeven eigenlijk gebaseerd?¹

Tekst Edith de Leeuw

Vaak wordt verwezen naar de missers bij verkiezingsonderzoek, zoals het iconische voorbeeld Dewey versus Truman. In 1948 voorspelde gerenommeerde bureaus zoals Gallup en Roper dat Dewey en niet Truman de volgende president van Amerika zou worden. Lag het aan de toch zorgvuldig geïmplementeerde quota-steekproef, zoals voorstanders van aselecte (kans) steekproeven graag zeggen², of kwam het doordat de polls al enkele weken voor de verkiezingen stopten en niet de laatste veranderingen oppikten? Tenslotte waren de verschillen tussen de kandidaten niet erg groot, en in 1936 had Gallup met een quota-steekproef wel degelijk goed voorspeld.

Transparantie

Soms gaat het goed, soms niet. Ligt dat alleen aan de steekproefmethode en de te eenzijdige groep respondenten, of zijn er ook andere foutenbronnen, zoals te beperkte tijd van onderzoek, non-respons en gebrekkige vragenlijst? Ook verkiezingsonderzoek gebaseerd op keurige kanssteekproeven heeft het wel eens mis, denk aan Brexit. In theorie zouden online panels die op kanssteekproeven gebaseerd zijn het altijd goed moeten doen: er is immers geen sprake van zelfselectie en de dekkingsgraad van de populatie is hoog. Maar zo gauw er non-respons optreedt, moeten er aannamen gedaan worden. In die zin zijn alle steekproeven niet langer ware kanssteekproeven, betoogde Andrew Mercer van Pew. Wat belangrijk is, is de mate van transparantie in het onderzoeksproces: wat weet men over de totstandkoming van de steekproef, over de non-respondenten en wat er precies gevraagd is. Juist op deze punten verschillen (non-)probability panels sterk. Het is dan ook niet verwonderlijk dat bij vergelijking van online panels de kwaliteit nogal kan verschillen³. Dat bleek al uit het Nederlandse NOPVO-onderzoek⁴.

‘Weet niet’

Het NOPVO-initiatief heeft veel internationale navolging gekregen⁵. Carina Cornesse presenteerde de resultaten van een Duits vergelijkingsonderzoek: probability-based panels zijn accurater met betrekking tot socio-demografische variabelen en actieve deelname aan de politiek. Er is minder straight-lining, maar wel wordt er vaker ‘weet niet’ geantwoord bij kiesgedrag. John Krosnick gaf een update van eerder Amerikaans vergelijkingsonderzoek: de voorlopige resultaten geven aan dat online onderzoek gebaseerd op een echte kanssteekproef accurater is, maar ook dat het overige onlineonderzoek erg varieerde. Opvallend was dat ‘river sampling’ slecht uit de bus kwam.

Wegen

Een stap verder dan simpel vergelijken gaat de Australische Dina Neiger, die het effect van verschillende weegstrategieën onderzocht. Haar conclusie is dat wegen wel degelijk helpt bij non-probability panels, maar dat het zeker geen panacee is. Goede weegvariabelen moeten altijd samenhangen met de sleutelvariabelen waarvoor men een goede schatter wil, zoals het percentage stemmers. Om echt goed te wegen is het heel belangrijk inzicht te hebben in steekproef en (zelf)selectieproces. David Dutwin, de president van de American Association of Public Opinion Research gaf een overzicht⁶ en schetste een onderzoeksprogramma voor de toekomst.

Combineren

Echt spannend waren de presentaties waarin onderzoekers het beste uit beide benaderingen proberen te combineren. Zo liet Stephane Legleye zien dat een (self-selected-volunteer) online onderzoek onder Franse LGBT’ers een waardevolle aanvulling geeft op de resultaten van een aselect getrokken telefonisch onderzoek. Joe Sakshaug toonde aan dat wanneer data van een grote gemakssteekproef en een kleine kanssteekproef in een Bayesians framework gecombineerd worden, dit vanuit een kosten-baten-perspectief veelbelovend is. Vergeleken met data van een kanssteekproef zonder toevoegingen, neemt zowel de mean-squared error als de variantie af. Het loont om Bastiaanse integratie toe te passen.

Twitter-sentiment

Natuurlijk kunnen we niet om big data heen. Josh Pasek is gestart met een ambitieus project waarin hij onderzoekt in hoeverre social media-data een vervanging kunnen zijn voor het gangbare surveyonderzoek naar gedrag en attituden. Als eerste onderzocht hij de mate van steun voor Barack Obama tussen 2009 en 2014. Pasek vergeleek Twitterdata met zowel gegevens van telefonisch onderzoek gebaseerd op nationale kanssteekproeven van Amerikanen, als met data van (non-probability) online surveys. Zijn hoofdconclusie is dat Twitter-sentimentdata toch iets anders zijn. De vijfjaartrends gebaseerd op de survey data kwamen goed overeen, ongeacht of deze nu gebaseerd waren op probability of non-probability steekproeven, Twitter trace-data verschilden duidelijk. Hoewel alle drie databronnen een neerwaartse trend over de tijd aangaven was die voor Twitter minder helder. Nog opvallender was het verschil in gevoeligheid voor actuele gebeurtenissen, zoals de toekenning van de Nobelprijs voor de vrede aan Obama. Twitter explodeert, zowel in positieve als negatieve uitingen. Deze explosies maken dat de variantie rondom de trendlijn voor Twitter veel en veel groter is. Een onbeantwoorde vraag blijft nog wat maakt dat Twitter-data anders zijn. Kortom alle reden om Josh Pasek en zijn project te blijven volgen. «

Prof.dr. Edith de Leeuw is MOA-hoogleraar Methoden en Statistiek aan de Universiteit van Utrecht.

¹ Zie ook Van de telefoon naar de kanssteekproef: https://www.cloutoday.nl/onderzoek-market-research/3619-van-de-telefoon-naar-de-kansste
² https://www.math.upenn.edu/~deturck/m170/wk4/lecture/case2.html
³ http://www.pewresearch.org/files/2016/04/Nonprobability-report-May-2016-FINAL.pdf
⁴ Van Ossenbruggen et al (2008) Het Nederlandse online panel vergelijkingsonderzoek (NOPVO), hoofdstuk 4 in Bronner et al. Ontwikkelingen in het marktonderzoek,Jaarboek van de MOA: https://moa04.artoo.nl/clou-moaweb-images/images/bestanden/pdf/Jaarboeken_MOA/Jaarboekmarktonderzoek2008.pdf
⁵ Voor een vroeg overzicht zie https://www.aapor.org/Education-Resources/Reports/Report-on-Online-Panels
⁶ Zie Dutwin & Brick, 2017 https://academic.oup.com/poq/article/81/S1/213/3749202

Dit artikel is overgenomen uit Clou magazine© nr 89, oktober 2018.