Met de opkomst van AI groeit de mogelijkheid dat antwoorden op door AI gegeneerde vragen met dezelfde AI-middelen worden beantwoord. Wat kunnen onderzoekers daartegen doen?
Mary Draper, Vice President Network Partners & Quality / EMI Research Solutions schreef een blog voor Greenbook waarin ze ingaat op het ‘perfect’ antwoord op open vragen. Met een grondig en inzichtelijke reactie van de respondent, geen spelfouten, geen ruwe taal. Zó perfect dat het verdacht wordt.
Bij haar bureau merkte ze na november vorig jaar een gestage daling van de steekproef- en datakwaliteit en ze vermoedt dat het komt door fraude. Misschien ook geen toeval want ChatGPT werd op 30 november 2022 gelanceerd. Sindsdien ziet ze een toename van verdachte open antwoorden – ook van panelleden die al jarenlang meedoen -, en een toename van beveiligingssystemen die fraudedetectie omzeilen.
Toekomstbestendig
Het gebruik van AI heeft fraude in de loop van de tijd doen evolueren. Kwaliteitscontroles uit heden en verleden, zijn niet toekomstbestendig. De onderzoeksector zal natuurlijk de tools verbeteren om fraude tegen te gaan, maar fraudeurs hanteren ook steeds geavanceerder methoden om in te breken in enquêtes. Het zal een gezamenlijke inspanning van de sector vergen om die fraude te bestrijden.
Bewustzijn
Met de toename van fraude stijgt wel het bewustzijn daarover. Dat zorgt voor meer achterdocht, niet alleen over antwoorden zonder al te veel inzicht, maar ook over die met te veel inzicht. Waar vroeger te weinig woorden in een open vraag werden gemarkeerd, is er nu twijfel over te veel woorden, het gebruik van vergelijkbare woorden, antwoorden met exact hetzelfde aantal woorden, antwoorden met perfecte interpunctie of meerdere antwoorden met vergelijkbare spelfouten. Ga je die gegevens opschonen, dan loop je ook nog eens de kans dat je antwoorden die wel van echte mensen afkomstig zijn weggooit.
AI zonder gevoel
Mary Draper geeft wat tips om het probleem kleiner te maken. Neem een open vraag op die de respondent uitnodigt om een persoonlijke mening of gevoel weer te geven. AI kan dat niet, dus de reacties zijn makkelijker te herkennen. Ze raadt ook aan om kopieer- of plakdetectie op te nemen in de enquête. Het blokkeren van de respondent die probeert een antwoord te plakken is niet voldoende.
Er is ook geen goede reden voor een respondent om een antwoord of vraag te kopiëren. Daarom is kopiëren een ijkpunt bij de programmatische kwaliteitscontrole. Wanneer AI-gebruik wordt vermoed, is het belangrijk om de vermoedens te toetsen aan eerder gedrag van een panellid.
Platforms
Sommige marktonderzoekbureaus zijn al begonnen met het bouwen en implementeren van AI-platforms om te helpen bij onderzoek. Dat kan goed gaan mits de sector samenwerkt om AI-technologie beter te begrijpen en blijft streven naar kwaliteit.
Bron: greenbook.org