De kwaliteit van data in marktonderzoek is een hot topic. Liam Kay-McClean van Research Live geeft de standpunten weer die tijdens rondetafelgesprek in Londen werden gedeeld over de problemen, én mogelijke oplossingen. ‘Kun je onderzoeksfraude brandmerken als een misdrijf?’
▼
Tijdens een door Research Live vorige maand georganiseerd rondetafelgesprek met vertegenwoordigers van onderzoeksbureaus kwamen gedachten, ideeën en zorgen rond datakwaliteit aan de orde.
Een eerste enquête onder deelnemers aan het rondetafelgesprek, voorafgaand aan het gesprek zelf, gaf al een indicatie over de omvang van het probleem. De meeste deelnemers denken dat het aantal interviews dat terzijde wordt gelegd vanwege ‘onvoldoende kwaliteit’ tussen de 5% en 30% ligt. Uit het onderzoek bleek ook dat 80% denkt dat de hoeveelheid slechte data het afgelopen jaar is toegenomen. De helft van de aanwezigen dacht dat 5% tot 10% van de interviews door fraude kunnen zijn beïnvloed; een derde zegt dat 30% tot 40% van de interviews ook echt moeten worden geskipt. 40% zegt dat AI-gestuurde enquêtefraude een belangrijk onderwerp is in hun organisatie en dat er robuuste maatregelen worden genomen om het probleem aan te pakken.
Panelleden zonder geduld
De problemen rond datakwaliteit zijn tweeledig: je hebt regelrechte enquêtefraude, en je hebt ‘fraude’ die voortkomt uit slechte ervaringen van deelnemers aan onderzoek. Over dat laatste zeiden de aanwezigen dat de animo om enquêtes in te vullen afneemt, en dat panelleden geen geduld hebben. De aandachtsspanne is gezakt en panelbedrijven zijn niet duidelijk over wat panelleden krijgen bij deelname.
Enquêtes zijn ook te lang zijn, vond men, hoewel betrokkenheid niet noodzakelijkerwijs verband houdt met de lengte van de enquête. Maar het verbeteren van de deelnemerservaring werd als essentieel beschouwd, met als klacht dat veel enquêtes te veel open vragen bevatten en dat het te lang kan duren voordat de kern wordt bereikt van het onderwerp waarvoor de deelnemers zich in eerste instantie hadden aangemeld.
Fraude is geëvolueerd
Nu AI zijn intrede heeft gedaan is datakwaliteit een groot punt van aandacht. Worden er bijvoorbeeld open antwoorden gegenereerd door ChatGPT? Kwaliteitscontroles hebben verder moeite om fraude op te sporen omdat ook de ‘fraude is geëvolueerd’ door AI-agents. AI maakt het probleem van de datakwaliteit groter, naast factoren als een slechte economie die onderzoeksfraude aantrekkelijker maakt en hoge churnpercentages.
AI zou ook een oplossing kunnen zijn, net als synthetische data, en een middel om fraudeurs effectiever te identificeren, maar deelnemers aan de ronde tafel zeiden ook dat ‘marktonderzoek sneller moet handelen’ en dat de sector ‘verantwoordelijkheid moet nemen voor AI’ om de rol van insights binnen organisaties te vergroten.
Brons, zilver en goud
Worden problemen met de datakwaliteit altijd onder de aandacht van opdrachtgevers gebracht? Die werken vaak agile en iteratief, en ze hebben snel gegevens nodig om inzichten te verkrijgen, maar je zou ze ook moeten vertellen hoe belangrijk het is om te investeren in goed onderzoek en enquêtes van hoge kwaliteit.
Het belang van datakwaliteit moet duidelijk zijn, en insightsprofessionals bij merken moeten ‘eigenaar’ worden van de discussie en er intern over communiceren.
Een van de oplossingen die naar voren werd gebracht, was labelling van kwaliteitscategorieën voor enquêtes – bijvoorbeeld met bronzen, zilveren en gouden niveaus die de kwaliteit van het panel laten zien. Dat kan helpen om klanten bewuster te maken van wat ze kopen. In dat geval zou het dan aan de klant zijn om te beslissen voor hoeveel kwaliteit hij wil betalen, en hopelijk zien ze dan ook wat de nadelen zijn van goedkopere data.
Helpt regelgeving?
Is regelgeving de weg vooruit? Zou benchmarking data helpen? De Engelse MRS onderzoekt de mogelijkheid om onderzoeksfraude te beschouwen als een specifiek misdrijf. Dat kan ook helpen om socialemediabedrijven te dwingen fraudeurs te stoppen en berichten te verwijderen die illegaal gedrag aanmoedigen.
Andere oplossing: een eenvoudiger manier om online identiteit te verifiëren. Estland heeft bijvoorbeeld een digitale ID voor burgers, maar een dergelijk systeem is in veel landen moeilijk in te voeren. Het meten van impact van onderzoeksfraude op het BBP kan ook helpen om de overheid en andere instanties duidelijk te maken hoe groot het probleem is.
Er zijn nog een paar mogelijkheden. Toetsaanslaganalyse is er eentje. En kunnen LLM’s helpen om reacties te analyseren en frauduleuze reacties uit te sluiten? Kunnen statistische regels helpen? De realiteit is dat er tegelijkertijd veel verschillende maatregelen nodig zijn om problemen met de datakwaliteit aan te pakken. Er is nog geen definitieve oplossing, maar dat er iets moet gebeuren is duidelijk.
Bron: research-live.com