Zoals de CEO van OpenAI (het bedrijf achter ChatGPT) al zei: ‘De verwachtingen zijn zó hooggespannen, dat mensen erom vragen teleurgesteld te worden. Dus dat gaan ze hoe dan ook zijn.’ Martijn van der Veen van Ruigrok beschrijft de risico’s van die te hoog gespannen verwachtingen. Wat zijn de valkuilen van ChatGPT in marktonderzoek? ‘Fact checking van de output van ChatGPT wordt heel belangrijk.’
ChatGPT kan van toegevoegde waarde zijn op de efficiëntie en inspiratie. Lukt het je niet om een pakkende titel bij je rapport te schrijven? Je vult het in bij de zoekbalk en krijgt meteen een paar opties. Maar een gewaarschuwd mens telt voor twee, dus wees je ook bewust van de barrières die ChatGPT met zich meebrengt. Een overzicht van vier valkuilen.
Valkuil 1: privacy
Alles wat je in de zoekbalk invult, is waar ChatGPT van leert. Hartstikke handig natuurlijk, want hoe meer informatie je geeft, hoe beter de informatie die je terugkrijgt. Maar wat er met deze informatie gebeurt, is niet duidelijk. Let er dus op dat je geen rapporten met vertrouwelijke informatie deelt, maar het echt alleen gebruikt voor generieke en anonieme teksten. Ook het invoeren van ruwe data (gespreksverslagen, survey data, open antwoorden) om door ChatGPT te laten analyseren, leidt al snel tot privacy-issues.
Het wordt in de toekomst mogelijk om de technologie toe te passen in je eigen software en processen, en om het onderliggende taalmodel te trainen op je eigen datasets zonder dat die data openbaar beschikbaar komen. Dan heb je als onderzoeksbureau meer controle over je data en gegevens. Maar gezien de vertrouwelijke aard van veel marktonderzoeken en de noodzaak om je aan alle geldende wet- en regelgeving te houden (waaronder de AVG) verdient privacy en informatiebeveiliging bijzondere aandacht.
Valkuil 2: verkeerde informatie
Niet alles wat ChatGPT zegt is waar. Dit is natuurlijk logisch, want het programma kan niet alles checken, maar hier zit wel een groot risico. Soms is de chatbot bevooroordeeld en ‘snapt’ het de context niet, waardoor er verkeerde antwoorden gegeven kunnen worden. Fact checking van de output van ChatGPT wordt dus heel belangrijk.
Daarnaast is het ook belangrijk om te blijven vertrouwen op je eigen creativiteit. Hoewel ChatGPT goed teksten kan genereren, kan het niet iets nieuws en unieks creëren. De tekst die goed opvalt, met een unieke invalshoek, zul je toch zelf moeten bedenken, maar je kunt ‘m vervolgens wel optimaliseren met ChatGPT.
Zorg er dus voor dat je de output van ChatGPT altijd zelf grondig naleest en afzet tegen de kennis die je zelf over een onderwerp hebt. Blijf je ook afvragen in hoeverre het gebruik van ChatGPT nog bijdraagt aan de eerder genoemde efficiëntie.
Valkuil 3: output versus input
De kunst bij ChatGPT is de perfecte balans te vinden tussen input en output. Oftewel: hoe uitgebreid moet mijn vraag zijn om een zo compleet mogelijk antwoord te krijgen? Stel je vanuit efficiëntie een korte vraag? Dan is de kans groot dat je een antwoord van dezelfde grootte terugkrijgt. Oftewel: ook hier geldt garbage in = garbage out. Het is beter om zelf tijd te investeren in het schrijven van een goede prompt, die te hergebruiken en steeds wat te tweaken.
Valkuil 4: niet up to date
ChatGPT is niet aangesloten op internet, dus de informatie die het geeft is nooit helemaal up to date. Op het moment van schrijven is de gratis database van ChatGPT in 2021 voor het laatst bijgewerkt, dus dat geeft al een gat van 2,5 jaar. Het is dus belangrijk zelf ook dingen op te blijven zoeken om de meest recente informatie te kunnen delen. Dit zal op korte termijn veranderen. Bing wordt de standaard zoekmachine van ChatGPT en hiermee wordt ChatGPT gekoppeld aan internet – nu al beschikbaar voor betalende gebruikers en binnenkort ook in de gratis versie.
De ontwikkelingen van ChatGPT (en andere AI-toepassingen) gaan heel snel. Ondanks de beperkingen die we nu ervaren, zie ik veel toegevoegde waarde in AI en ChatGPT. Door veel te experimenteren, leren we waar het de meeste waarde kan toevoegen en hoe we met de valkuilen om kunnen gaan.
Auteur: Martijn van der Veen, Chief Strategie & Marketing en partner bij Ruigrok.
Ruigrok is Kennispartner van Daily Data Bytes