De Taskforce AI kwalitatief hield vorige maand een digitale bijeenkomst waarin allerlei vragen over de mogelijkheden van AI voor kwalitatief onderzoek aan bod kwamen. Alex Dowdalls, oprichter en partner bij AXVECO dat advies geeft over data en technologie, hield een inleiding en beantwoordde vragen.
Niet AI gaat mens vervangen, maar wel gaat AI de mensen die het niet gebruiken vervangen door mensen die dat wel doen, aldus Alex Dowdalls. In de techniek van AI is er niets dat de hogere cognitieve functies van de mens kan nabootsen. Wel kan het neurale netwerk correlaties maken. Zo kan het model bijvoorbeeld woorden met elkaar verbinden en raden wat het meest waarschijnlijke woord is dat volgt op een eerder woord. Het sturen hiervan heet prompt engineering, wat de spil is van ChatGPT: geen emotioneel, denkend en voelend model, maar een slim gemaakte statistische correlatiemotor.
In ‘de oude wereld’ moest je iets bedenken, dat uitvoeren en dan reviewen. In ‘de nieuwe wereld’ moet je eerst goed nadenken wat je wilt doen en dat prompten, waarbij het model de output genereert. Met Microsoft Co-pilot is het bijvoorbeeld mogelijk om een Excel-bestand te uploaden en er een samenvatting van te maken met bepaalde grafieken en bepaalde tone of voice en door Powerpoint te laten vormgeven. Prompt engineering kent een aantal niveaus, met opklimmende gradaties van ‘slimheid’. Met het hoogste niveau kun je het model ook trainen met eigen inhoud. Dat heet retrieval-augmented generation (RAG). Zo kan een model op een gesloten eigen omgeving gehost worden en getraind worden met eigen data, én zo ook de veiligheid van bedrijfsgeheimen en de GDPR borgen.
Veiligheid
Alex Dowdalls beantwoordde ook wat vragen na zijn presentatie.
Vraag: Welke AI-toepassingen zijn er voor onderzoekers beschikbaar en welk niveau van veiligheid op het gebied van gegevensbescherming bieden ze precies?
Antwoord: Bij het gebruik van open-AI ChatGPT (ook versie 4) is er geen veiligheidsborging. De hosting zit niet in de EU maar in Amerika. Eigenlijk zou GPT in een eigen omgeving (met eigen server) moeten worden gebruikt of alleen worden gebruikt voor het ophalen van informatie. Eventueel zouden de data ook bij een ander bedrijf kunnen worden gehost, op een server in de EU en een verwerkersovereenkomst die de privacy en bedrijfsgeheimen waarborgt.
De voorkeur heeft een eigen gesloten systeem met de GPT language capability. Zo gebruikt dat model de twee miljard woorden en relaties die er zijn, maar gaan de eigen data nergens anders heen, is het veilig en GDPR-proof. Hiervoor kan bijvoorbeeld Azure hosting met GPT-4 gebruikt worden, maar er zijn ook andere leveranciers zoals Amazon (Mistral), Google (Gemini), Lama en GPT4All.
Dialoog
Vraag: hoe krijg je uit interviews met respondenten iets bruikbaars te krijgen met behulp van AI?
Antwoord: ChatGPT zou getraind kunnen worden op de vragenlijst zodat het de vraag stelt en daarop antwoord krijgt. Afhankelijk van bepaalde antwoorden kan er een bepaalde dialoog plaatsvinden om te begrijpen wat de respondent zegt. Aan de achterkant komen de antwoorden binnen die getoond kunnen worden, of kunnen worden samengevat.
Co-pilot
Vraag: Moet je naast Co-pilot ook nog een cloud-provider kiezen?
Antwoord: Co-pilot van Microsoft heeft Open AI jaren gesponsord en heeft daarom rechten op de software. Microsoft heeft Open AI (vooral GPT 4) geïntegreerd in de Office 365 suite. In Teams kan dan een samenvatting worden gemaakt van een gesprek. Met Co-pilot Studio kan van een Excel-bestand een presentatie gemaakt worden.
Structuur
Vraag: Zijn er voor tekstanalytics specifieke toepassingen?
Antwoord: Voor klassieke AI voor tekstanalytics zijn er gereedschappen als topic modelling of Association Discovery, waarmee ongestructureerde data gestructureerd of semigestructureerd kunnen worden gemaakt. Het GPT-model voegt daar sentimentanalyse of samenvattingen aan toe.
Bij een onderzoek met meer respondenten, moeten de antwoorden eerst gedigitaliseerd worden, waarna ze kunnen worden ingeladen. Dit kan via een Word-document, maar ook met een Excel-spreadsheet. Vervolgens kan een samenvatting gemaakt worden. De uitkomsten zijn sterk afhankelijk van de opgegeven prompt.
Context
Vraag: Als je veel eigen onderzoek via ChatGPT laat lopen in een gesloten eigen omgeving, wordt de kwaliteit van de analyse beter naarmate er meer data in worden gestopt? Is bijvoorbeeld de analyse van het eerste onderzoek even goed als de analyse van het honderdste onderzoek?
Antwoord: Het systeem kan één document net zo goed analyseren als 100 documenten. Maar om het model te trainen en daarvan een goede samenvatting te laten maken, helpt het om meer documenten te uploaden, omdat het dan een betere context heeft krijgen.
Interesse in de Taskforce AI Kwalitatief? Geef je dan op via info@dinetwork.nl. De taskforce werkt toe naar een protocol over het gebruik van AI voor kwantitatief en kwalitatief onderzoek.