Onderzoek van de BBC heeft ‘significante problemen’ aan het licht gebracht in de helft van de AI-antwoorden op vragen over het nieuws. Er bleek nogal wat onnauwkeurigheid en partijdigheid in te zitten, en vaak een verkeerde weergave van bronmateriaal.
▼
In het onderzoek gaven BBC-onderzoekers vier AI-tools: OpenAI’s ChatGPT, Copilot van Microsoft, Gemini van Google en Perplexity, toegang tot de website van de BBC en stelde hun vragen over het nieuws, waarbij BBC-nieuwsartikelen als bron konden worden gebruikt. BBC-journalisten beoordeelden vervolgens de door AI gegenereerde antwoorden op criteria als nauwkeurigheid, onpartijdigheid en hoe ze BBC-inhoud weergaven.
Na analyse kreeg 51% van de AI-antwoorden van de onderzoekers het predicaat ‘significante problemen in een of andere vorm’, terwijl 91% van de antwoorden op zijn minst een paar missers bevatte. De meest voorkomende problemen waren feitelijke onjuistheden, verkeerde bronnen (ook ingeval er niet een BBC-bron werd gebruikt) en ontbrekende context.
Verkeerde data
Uit analyse bleek ook dat 19% van de AI-antwoorden op basis van BBC-content feitelijk onjuist waren, bijvoorbeeld door weergave van onjuiste feitelijke statements, foute cijfers en verkeerde data. Bovendien was 13% van de citaten afkomstig uit al gewijzigde BBC-artikelen of stond het niet in het artikel. In een voorbeeld uit het onderzoek beweerden ChatGPT en Copilot dat voormalig premier Rishi Sunak en voormalig eerste minister Nicola Sturgeon nog in functie waren toen ze al waren vertrokken.
In sommige gevallen presenteerden de AI-assistenten meningen van mensen als een feit. Zowel ChatGPT als Copilot zei bijvoorbeeld dat de BBC ‘strenge beperkingen wilde opleggen aan hulp bij het sterven’. Dit waren echter de woorden van parlementslid Kim Leadbeater, die dat in een wetsvoorstel naar voren bracht. De standpunten van parlementsleden en campagnevoerders die tegen het wetsvoorstel waren – en door de BBC geciteerd – werden niet opgenomen.
Samenwerking AI en media
Pete Archer, programmadirecteur voor Gen AI bij de BBC, zegt over het onderzoek: ‘Mensen denken misschien dat ze kunnen vertrouwen op wat ze van deze AI-assistenten als antwoord krijgen, maar dit onderzoek toont aan dat antwoorden op vragen over belangrijke nieuwsgebeurtenissen worden verdraaid, feitelijk onjuist zijn of misleidend. Het gebruik van AI zal toenemen, dus het is van cruciaal belang dat de informatie voor het publiek nauwkeurig en betrouwbaar is. Media, zoals de BBC, moeten controle houden over de inhoud en AI moet laten zien hoe de tools nieuws verwerken, ook de fouten en onnauwkeurigheden. Dit vereist sterke samenwerking tussen AI- en mediabedrijven.’
Bron: research-live.com