Een recent artikel gepubliceerd in het International Journal of Market Research (IJMR) beschrijft hoe een groot taalmodel werd getraind om tekst te identificeren die emoties laat zien.
▼
‘Kan een machine de emoties van een mens vatten?’ Dat was de vraag die Leo Paas, hoogleraar marketing en directeur van het masterprogramma Business Analytics aan de Universiteit van Auckland, onlangs aan het publiek stelde op een IJMR-bijeenkomst in Londen.
Paas had in diverse onderzoeken een LLM onder de naam Roberta gebruikt. Roberta werd getraind op miljoenen stukjes ongestructureerde socialemediagegevens om tekstverwijzingen te identificeren die overeenkomen met een van de zes emoties zoals geformuleerd door psycholoog Paul Ekman (woede, verrassing, walging, plezier, angst, verdriet). Het doel van het onderzoek was te achterhalen of dit type tekstanalyse zou kunnen werken voor fondsenwerving en betrokkenheid bij podcasts.
Gevoelens aanwakkeren
Achter de eerste vraag (fondsenwerving) zat de Fred Hollows Foundation die als missie heeft om een einde te maken aan vermijdbare blindheid en die zich afvroeg of het onderzoek zou kunnen helpen om de communicatie te verbeteren en donaties aan te moedigen.
Na het model te hebben getraind op vijf miljoen tweets, bleek een duidelijke correlatie tussen de emotionele toon van de eigen tweets van de organisatie – die van ‘verdriet’ – en de hoeveelheid geld die in een bepaalde maand werd opgehaald. ‘Als de stichting gevoelens van verdriet over blindheid kan aanwakkeren, dan vergroot dat de intentie van mensen om te doneren’, stelde Paas op de bijeenkomst.
Plezier en woede
In de tweede studie werd gekeken naar de mogelijkheden om betrokkenheid bij podcasts te vergroten. Betrokkenheid wordt gemeten in het aantal en de aard van de beoordelingen.
Bij het analyseren van twee miljoen Apple podcast-recensies was de dominante emotie in 89% van de gebruikersrecensies – misschien niet heel verrassend – ‘plezier’.
Er waren echter ook andere emoties aanwezig, bijvoorbeeld ‘woede’. Hoewel dat veel minder vaak voorkwam, zegde het toch wel iets over betrokkenheid. In dit geval is van cruciaal belang, zegt Paas, dat het niet om de woede-emotie zelf gaat, maar om het vinden van de maximale hoeveelheid. Als er een bepaalde ‘woedegrens’ wordt overschreden, dan schrik je potentiële luisteraars af.
Paas zegt daarover: ‘Als je podcastluisteraars een beetje irriteert, dan krijg je daarover een review. De overheersende emotie van podcasts is weliswaar plezier, maar als je reviews wilt uitlokken en betrokkenheid wilt creëren, laat dan niet alleen ‘plezier’ zien. Er moeten ook ‘gemengde gevoelens’ zijn.’
Menselijk toezicht
Hoewel Roberta beter presteerde dan andere machine learning-modellen, kunnen er ook fouten optreden. Een emotie kan op verschillende manieren worden geïnterpreteerd. ‘Verrassing’ kan tenslotte een positieve of negatieve emotionele toestand beschrijven.
De conclusie van het onderzoek was er eentje die toepasbaar is voor de hele onderzoeksbranche: AI kan emoties detecteren, maar het vereist nog steeds een behoorlijk hoog niveau van menselijk toezicht. Het is vooral nuttig in de pre-onderzoeksfase – bijvoorbeeld om een hypothese te testen.
Bron: research-live.com