Hoe kun je fraude in online enquêtes (nog) beter bestrijden? Dat kan met een strategische vragenlijst met open vragen, met meerkeuzevragen en met ‘valstrikken’, én goed gebruik van technische hulpmiddelen. Dat is de stelling van Sebastian Berger, Head of Science bij ReDem. Hij geeft tips voor ontwerp en gebruik van online enquêtes.
▼
De toename van geavanceerde fraude met online enquêtes, dankzij corona, sociale media en AI, heeft behoorlijk wat problemen veroorzaakt voor marktonderzoekers. En traditionele bestrijdingsmiddelen voldoen niet meer. Het is daarom van cruciaal belang om geavanceerde technologische hulpmiddelen te koppelen aan goed opgestelde vragenlijsten. Het ontwerp van een enquête speelt een voorname rol bij het effectief inzetten van deze tools om frauduleuze antwoorden op te sporen en eruit te filteren.
Open vragen
In het verleden werden open vragen in online enquêtes vaak vermeden of het gebruik werd beperkt tot specifieke gevallen, zoals merkherinnering. Reden: het tijdbeslag en de kosten van evaluatie, en de vrees dat verplichte open vragen kunnen leiden tot hogere uitvalpercentages. Met AI-oplossingen die geautomatiseerde analyse mogelijk maken, is controle van open antwoorden aanzienlijk minder tijdrovend. Open vragen zijn bovendien effectief in het bestrijden van nieuwe fraudetactieken, omdat ze zowel inhoudelijke controles mogelijk maken (zoals het beoordelen van de zinvolheid van antwoorden) als analyse van invoerpatronen (bijvoorbeeld het detecteren van kopieer- en plakgedrag).
- Doen: Fraudeurs vermijden vaak open vragen, en onoplettende respondenten hebben de neiging om ze over te slaan. Daarom is het verplicht stellen van deze vragen cruciaal. Als ze op de juiste manier zijn ontworpen (niet te veel of te moeilijke vragen), kunnen uitvallers op die manier zelfs de gegevenskwaliteit verbeteren omdat niet-betrokken deelnemers worden uitgefilterd.
- AI-vriendelijk: Open vragen moeten passen bij AI-ondersteunende kwaliteitscontrole. Ze moeten een referentiekader bieden voor AI om de zinvolheid van antwoorden te beoordelen. Vragen als ‘Zou je ons nog iets willen vertellen?’ zijn minder effectief omdat ze geen inhoudskader hebben, waardoor het voor AI moeilijk is om de antwoordkwaliteit te beoordelen.
- AI-gegenereerde reacties detecteren: Om door AI gegenereerde antwoorden te identificeren, zijn vragen die emoties en meningen uitlokken erg nuttig, omdat chatbots moeite hebben om persoonlijke meningen of emotionele uitingen authentiek weer te geven.
- Strategische plaatsing: Voor een grondige kwaliteitsbeoordeling is het raadzaam om minimaal twee open vragen in een vragenlijst op te nemen, strategisch geplaatst, zoals één aan het begin en één aan het einde. In langere enquêtes kan een respondent even de focus verliezen en een onzinnig antwoord geven, maar als dit meer dan eens gebeurt, neemt de kans op slechte datakwaliteit aanzienlijk toe. Deze verdeling helpt ook bij het evalueren van de betrokkenheid van de deelnemers aan een enquête. Bovendien kunnen identieke antwoorden helpen bij de vaststelling of er fraude in het spel is of niet.
Meerkeuzevragen
Meerkeuzevragen zijn efficiënt. Ze zijn ook een handig hulpmiddel voor kwaliteitscontrole omdat je kunt vaststellen of deelnemers opletten of frauderen. Meer effectiviteit haal je uit de volgende opties:
- Voldoende aantal uitspraken: Om nauwkeurig te bepalen of de antwoorden echt of willekeurig zijn, moet een meerkeuzevraag een voldoende aantal uitspraken bevatten. Ervaring leert dat een minimum van zeven uitspraken het beste werkt.
- Passend aantal opties: Het aantal antwoordopties moet omgekeerd evenredig zijn met het aantal instructies in het grid van de meerkeuzevragen. Naarmate het aantal statements toeneemt, zijn er minder opties nodig. Ten minste drie antwoordopties verhogen de betrouwbaarheid van de kwaliteitscontrole.
- Tegengestelde uitspraken: Uitspraken moeten zo worden geformuleerd dat ze mogelijke inconsistenties of tegenstrijdigheden creëren als ze uniform worden beantwoord. Dit kan worden bereikt door zowel positieve als negatieve uitspraken over het onderzochte onderwerp op te nemen, zodat de antwoorden een doordachte overweging vereisen.
Valstrikken
Valstrikvragen in een vragenlijst zijn een effectieve manier om te zien of deelnemers opletten en eerlijk reageren. De vragen kunnen verschillende vormen aannemen, zoals anders geformuleerde herhaalvragen, prompts om een specifieke antwoordoptie te selecteren of vragen over niet-bestaande opties.
Het primaire doel van valstrikvragen is beoordeling van de kwaliteit van de antwoorden en niet inhoud verzamelen voor analyse. Een zorgvuldige uitvoering is essentieel. Houd het volgende in de gaten:
- Gebruik ze spaarzaam: Gebruik maximaal twee valstrikvragen om te voorkomen dat deelnemers in de war raken of irritatie ontstaat.
- Ontwerp subtiel: Zorg ervoor dat valstrikvragen niet gemakkelijk zijn te herkennen, want ontdekking kan ertoe leiden dat deelnemers antwoorden aanpassen aan de criteria van het onderzoek.
- Oordeel breed: Gebruik de vragen als onderdeel van een bredere strategie en hanteer ze niet als enige criterium voor kwaliteit. Te veel vertrouwen op valstrikvragen kan namelijk voorzichtige deelnemers die een fout maken zien als oneerlijk, wat kan leiden tot hun uitsluiting of verminderde animo om mee te werken.
Bron: greenbook.org