In 2023 leerden onderzoekers AI toe te passen in het hele marktonderzoeksproces. Van het gebruik van ChatGPT om hypothesen te ontwikkelen, via prompts om grote hoeveelheden ongestructureerde gegevens samen te vatten en te coderen, via query’s in natuurlijke taal tot het ‘ondervragen’ van data. Phil Sutcliffe, Managing Partner van Nexxt Intelligence, beschrijft wat ons verder te wachten staat.
Naarmate het jaar vorderde, ontstond er discussie over synthetische data – en daarmee de creatie van synthetische respondenten voor kwantitatief onderzoek en synthetische persona’s voor kwalitatief onderzoek. Zoals o.a. Ray Poynter al opmerkte, is het gebruik van synthetische gegevens – in wezen gegevens die door computermodellen worden gecreëerd – niets nieuws in marktonderzoek.
Wat nieuw is, is de opkomst van Large Language Models (LLM’s) en daarmee het vermogen van AI om natuurlijke antwoorden op vragen te voorspellen en de enorme hoeveelheden data in LLM’s te ontginnen en te modelleren. Het zijn ontwikkelingen die hebben geleid tot het ontstaan van start-ups die synthetische respondenten, synthetische gebruikers en synthetische persona’s aanbieden. Het is niet verrassend dat deze ontwikkelingen controversieel zijn en veel marktonderzoekers zich erdoor bedreigd voelen.
‘Goed genoeg’
Betekent de opkomst van synthetische data de dood van de enquête? Het is te verwachten dat aanbieders van synthetische respondenten zullen zeggen dat er veel gelijkenis is met kwantitatieve enquêtes die worden ingevuld door online panelleden. Ook de kritiek – ‘de vergelijkingen zijn gebrekkig’ – is voorspelbaar.
Wat je ook met zekerheid kunt voorspellen, is dat veel klanten in toenemende mate synthetische data zullen gebruiken voor bepaalde onderzoeken. Bijgevolg zullen synthetische gegevens van invloed zijn op de inkomsten van aanbieders van enquêtesoftware, online panelbedrijven en marktonderzoekbureaus, aangezien klanten synthetische gegevens gaan gebruiken voor onderzoeken die voorheen werden uitgevoerd door online enquêtes. Het feit dat synthetische data snel en goedkoop zijn, maakt dit onvermijdelijk. Zeker als gebruikers denken dat de dat ‘goed genoeg’ zijn.
Menselijk inzicht
De titel van dit artikel is opzettelijk provocerend. Hoewel de enquête misschien niet verdwijnt, zullen synthetische data impact hebben, en ik verwacht dat de impact groter zal zijn voor kwantitatief dan voor kwalitatieve onderzoek. En dat ondanks het feit dat synthetische persona’s door sommige toeleveranciers op grote schaal worden gepromoot als nabootsing van kwalitatief onderzoek.
De reden dat ik denk dat kwalitatief onderzoek minder zal worden beïnvloed, is dat ik moeilijk kan geloven dat synthetische data in staat zullen zijn om de essentie te vervangen die kwalitatief onderzoek laat zien: diep menselijke inzicht dat voortkomt uit het praten met echte mensen in realtime om een goed begrip van hun gedrag te krijgen, van hun overtuigingen, motivaties en emoties, door middel van indringende en projectieve technieken. Ik verwacht dat synthetische persona’s in kwalitatief onderzoek complementair zullen zijn, bijvoorbeeld om hypothesen en allerlei ideeën te formuleren die vervolgens zullen worden verfijnd en beoordeeld door echte mensen.
Chatbot en respondent
Kortom, om enquêtes een toekomst te geven in het tijdperk van synthetische gegevens, moeten ze kwalitatiever worden. Het goede nieuws is dat dit al mogelijk is. Conversationele AI-technologie kan al enquêtes transformeren tot een interactie tussen chatbot en respondent. De chatbot kan typische kwantitatieve vragen stellen, maar hij kan veel verder gaan en deelnemers betrekken bij een dialoog door generatieve AI te gebruiken om de antwoorden te peilen die ze geven op open vragen.
Dit levert niet alleen veel dieper inzicht op dan traditionele online enquêtes, het stimuleert ook de betrokkenheid van deelnemers, omdat mensen het gevoel hebben dat er naar hen wordt geluisterd. En meer betrokken deelnemers letten beter op en zorgen voor data van betere kwaliteit.
Avatars
Bovendien kan gamification, die mogelijk wordt gemaakt door conversational design, worden gebruikt om deelnemers te helpen gevoelens en emoties beter te verwoorden. Met de toenemende kracht van generatieve AI zullen gespreksmethodieken ervoor kunnen zorgen dat mensen worden bevraagd met behulp van spraak of video, en na verloop van tijd zullen realistische avatars worden ingezet om mensen op grote schaal en diepgaand te interviewen.
Steekproef
De kwaliteit van woordelijke gegevens die door conversational AI worden gegenereerd, is niet alleen een technische zaak, maar houdt ook verband met de kwaliteit van de steekproef. Sommige panels zijn beter dan andere, maar zelfs met de beste panels voorhanden, moeten we soms toch een deel van de steekproef afwijzen.
De problemen met afnemende kwaliteit van de steekproef zijn steeds meer bekend, o.a. door toenemende problemen met respondentfraude en het verschijnsel ‘botfarms’. Het is te hopen dat een toename van het gebruik van synthetische data kan leiden tot een nieuw model voor deelnemersbetrokkenheid. Als het gaat om de kwaliteit van steekproeven kunnen we alleen bots verslaan als panels de garantie kunnen geven dat ze bestaan uit echte mensen. En dat kost meer geld.
Investeren
Als opdrachtgevers geld willen besparen door onderzoeksuitgaven te verleggen naar synthetische respondenten, kunnen we ze dan ook aanmoedigen om het uitgespaarde geld te investeren in steekproeven van betere kwaliteit? Als er meer geld van opdrachtgevers op tafel ligt, zal dat panelaanbieders aanmoedigen om te investeren in het leveren van gevalideerde panelleden van betere kwaliteit. Dat zou fantastisch zijn.
Auteur: Phil Sutcliffe
Bron: greenbook.org