Bijna elke week verschijnt er een nieuw bedrijf dat beweert ‘qual at scale’ of ‘robust qual’ te leveren, waarbij AI wordt gebruikt om ‘inzichten te leveren uit duizenden een-op-een-kwalitatieve interviews, gemodereerd door een AI-onderzoeker’. Deze claims kloppen niet, zegt Jack Wilson, Innovation Lead bij 2CV.
AI faciliteert enquêtes, geen diepte-interviews, vindt Wilson. Met AI kun je een mix van gescripte en generatieve open vragen stellen in een AI-enquête. De antwoorden worden op grote schaal verwerkt en er worden generatieve samenvattingen geproduceerd door het AI-platform. Maar het is volstrekt onjuist om dat te zien als een geschikte vervanging voor de kwalitatieve praktijk. Wilson’s uitgangspunt: het is de kunst van ongestructureerde interviews om de verhalen van gesprekspartners te begrijpen en op waarde te schatten, op het moment dat de geïnterviewde zijn persoonlijke ervaringen deelt. Kwalitatieve interviews moeten toegang bieden tot de intieme en privé-ervaringen van een geïnterviewde, de interviewer moet de geïnterviewde het hof maken, verstandhouding en vertrouwen tussen hen versterken en een relatie opbouwen. De verstandhouding tussen interviewer en respondent wordt gecreëerd door vriendelijkheid, openheid en respectvol en inlevend luisteren.
Weten wat het is om mens te zijn
Kwalitatieve onderzoekers hebben een inherent begrip van hoe ‘groot’ een vraag is, ze weten hoe en wanneer ze moeten aandringen op meer, en wanneer ze verder moeten gaan, ze kunnen een interessant detail herkennen en erop inzoomen – ze weten wat het is om mens te zijn. Bij interactie met een computer (zelfs een heel slimme!) – is de dynamiek heel anders, vindt Wilson. Er is geen sociale band tussen de interviewer en de geïnterviewde. Vragen worden gesteld door een machine die niet in staat is om te begrijpen of aan te voelen wat hem wordt verteld. Hij kan alleen een mogelijke vervolgreactie voorspellen op basis van statistische waarschijnlijkheid. Dat werkt bij wat heen en weer praten, maar zodra de machine een vraag stelt die de geïnterviewde om een aantal redenen repetitief, saai of ongepast vindt, is de betovering verbroken.
‘Is al beantwoord’
Jack Wilson gebruikte onlangs een AI-platform om een intern experiment uit te voeren waarbij hij intern een korte AI-gespreksenquête hield om meningen van onderzoekers te verzamelen over de rol van AI-gedreven interviews. Het bleek dat AI repetitieve vragen genereerde waarvan de geïnterviewden vonden dat ze al waren beantwoord. Naast herhaling was ook enquêtemoeheid een probleem. En: je kunt in zo’n gesprek niet hetzelfde aantal vragen stellen als in een diepte-interview.
Subtiele elementen
Kwalitatieve interviews gaan over meer dan alleen het vermogen om veel relevante vragen te stellen – het gaat over lichaamstaal, toon, stiltes, aarzelingen, enthousiasme, passie en verveling. Dat zijn subtiele elementen die redeneervermogen, cultureel begrip en menselijke empathie vereisen die AI niet bezit. AI-enquêtes kunnen kwalitatieve informatie vastleggen, maar ze kunnen geen diepgaand kwalitatief inzicht bieden – dat is het echte verschil.
Nieuw vocabulaire
Wilson zegt niet dat AI-gestuurde interviews een ongeldige onderzoeksbenadering zijn. Integendeel, zegt hij: ‘Ik denk dat het een methodologie is waar we allemaal mee zouden moeten experimenteren. AI-enquêtes kunnen goed werken om de dekking van nichedoelgroepen te vergroten, tegen lagere kosten, of om pré- of postonderzoekstaken uit te voeren. AI krijgt ongetwijfeld een plaats in de onderzoeksgereedschapskist, maar het zal geen diepgaande kwaliteit met zich meebrengen, dus moet het niet als zodanig worden aangeprezen.’
Synergie
Hij pleit voor een nieuw vocabulaire bij het praten over de rol van AI in onderzoek, juist omdat het gaat om een nieuwe benadering die ergens in het midden ligt van kwalitatief en kwantitatief. Wilson: ‘AI stelt ons in staat stelt om ‘synergetisch’ onderzoek te leveren – het brengt elementen van kwalitatief en kwantitatief onderzoek samen, en dat levert nieuwe voordelen op. Synergetisch onderzoek voegt nieuwe tools toe aan onze collectieve onderzoekstoolbox, maar het is eerder een aanvulling op dan een vervanging van traditionele technieken. Net zoals je een stagiair of junior onderzoeker niet vraagt om analyses uit te voeren en een rapport te schrijven voor een groot project met diepte-interviews, zo moet je niet vertrouwen op AI om kwalitatief onderzoek te doen.’
Bron: greenbook.org