Wat is het gevaar van een te groot geloof in AI-gestuurde data-analyse in onderzoek? Vertrouwen wij te veel op door AI gegenereerde samenvattingen? Jack Wilson, innovation lead bij 2CV, schreef er voor Greenbook een blog over.
Jack Wilson haalt de bekende schrijver Yuval Hariri aan die zegt dat AI-systemen nu overgaan van een fase waarin de aandacht van mensen wordt getrokken naar een fase die gericht is op het kweken van vertrouwen en afhankelijkheid.
Hariri betoogde dat AI-systemen (vooral op sociale media) in de aandachtsfase gebruikers aan zich binden met behulp van technieken die verslavend gedrag aanmoedigen. Nu is AI in de ‘intimiteitsfase’ beland, en is het steeds beter in staat om door middel van dialoog (diepe) verbindingen met gebruikers op te bouwen.
De kracht van intimiteit
AI is door beheersing van de taal steeds beter in staat is om diepere relaties met mensen aan te gaan en de kracht van intimiteit te gebruiken om meningen en wereldbeelden te veranderen. Dit perspectief heeft fascinerende implicaties voor marktonderzoek, zegt Jack Wilson. Hoewel AI vaak dingen goed doet, doet het ook dingen verkeerd – het vereenvoudigt, het interpreteert verkeerd, het mist de emotie van de stem, het legt de verkeerde nadruk. Het probleem is dat de conclusies er vaak goed uitzien en juist klinken, zonder echt juist te zijn.
Te afhankelijk
Het opsporen van deze onnauwkeurigheden, verkeerde interpretaties en gemiste nuances vereist diepgaande inzicht in het bronmateriaal en ervaring die vaak gepaard gaat met jarenlang werken in onderzoek. Een belangrijke zorg van ervaren onderzoekers is dat junior collega’s te afhankelijk worden van de samenvattingen en reportages die worden gegenereerd door AI-tools. De stelling dat verbinding het effectiefste wapen is voor beïnvloeding leidt naar de vraag: zijn we eerder geneigd een onderzoekssamenvatting te geloven wanneer deze door middel van dialoog aan ons wordt meegedeeld? Is de kans groot dat we onze analytische waakzaamheid laten vallen wanneer de meerderheid van de antwoorden van een LLM-analysetool accuraat is? Wat zijn de risico’s van AI-ondersteunde analysetools die de resultaten van ons onderzoek vormgeven door inherente vooroordelen in de trainingsgegevens?
Onvolmaakte analist
Hoewel Wilson een groot voorstander zegt te zijn van AI-ondersteunde analyse biedt, wil hij realistisch blijven over de gebreken. Ten eerste moeten we volgens hem niet vergeten dat AI bijna altijd werkt met een onvolmaakte dataset. In het geval van kwalitatief onderzoek: audiokwaliteit zal coderingsfouten veroorzaken, het gebruik van visuele stimuli kan resulteren in abstracte referenties, lichaamstaal en stemgeluid ontbreken (of worden slecht gelezen) in de gegevens. Ten tweede: AI is een onvolmaakte analist, het ontbreekt aan echt begrip van menselijk gedrag, fysieke ruimte, en het begrijpt niet eens de woorden die het ons nazegt.
Dit alles onderstreept dat we zo efficiënt en nauwkeurig mogelijk de ruwe data moeten onderzoeken die we in de AI-tools invoeren. Zonder kennis naar die ruwe data kunnen we de realiteit uit het oog verliezen. We moeten ons niet alleen afvragen ‘hoe deze gegevens zijn vastgelegd’, maar ook ‘hoe deze conclusies tot stand zijn gekomen’,
Tweerichtingsverkeer
Wilson vindt dat we niet op AI moeten vertrouwen als het gaat om het trekken van conclusies, en we moeten er ook niet van uitgaan dat elke samenvatting die AI genereert nauwkeurig is. Verbinding en vertrouwen zijn begrippen die horen bij tweerichtingsverkeer. Op dezelfde manier waarop we verbinding opbouwen met collega’s en leren begrijpen hoe ze werken, zo zullen we eenzelfde begrip moeten opbouwen over de sterke en zwakke punten van AI.
Bron: Greenbook.org