Tools voor automatische vertaling zijn steeds meer in opmars. Marie Hense, vice-president data quality van Toluna vroeg zich af of je die tools moet gebruiken in enquêtes. Ja, maar formuleringen luisteren nauw en let op dat je geen mensen uitsluit.
Landen tellen steeds meer mensen met verschillende achtergronden en verschillende talen. Een van de oorzaken is migratie voor werk of studie. Om het dagelijks leven in meertalige samenlevingen te vergemakkelijken, zijn vertaaltools wel zo handig. Dat kan gaan om webgebaseerde vertaaldiensten, spraakgestuurde vertalers of vertaal-ad-ons die automatisch alles vertalen wat in realtime voor je ogen verschijnt. Maar, hoe handig deze tools ook zijn, ze zorgen ook voor ruis in de taal. En wat is het gevolg voor onderzoek? Marie Hense ziet drie belangrijke aandachtsgebieden rond vertalingen: nauwkeurigheid van gegevens, inclusiviteit en frauduleuze activiteiten. Alle drie onderwerpen moet nauwkeurig worden bekeken als je wilt dat respondenten een automatische vertaalfunctie gebruiken tijdens het invullen van een enquête.
Nauwkeurigheid. In onderzoek moeten vragen op precies dezelfde manier worden begrepen door respondenten, en een genuanceerde formulering van vragen maakt daarbij echt verschil. Wie ooit een automatische vertaler heeft gebruikt, weet dat de kwaliteit van vertalingen nog steeds verre van perfect is. Dat betekent dat onnauwkeurigheden als gevolg van automatische vertalingen vergelijking van antwoorden erg op de proef kan stellen. Automatische vertalingen leiden ook tot onduidelijkheid omdat ze taal een lading kunnen geven die anders is dan de oorspronkelijke en precies geformuleerde tekst. Dat kan respondenten op het verkeerde been zetten.
Inclusiviteit. Sommige mensen hebben een automatische vertaalfunctie geactiveerd op hun device omdat dat handig is in het dagelijkse leven. Door deze respondenten uit te sluiten, kunnen we de representativiteit van de steekproef in gevaar brengen. Het zou respondenten met een bepaalde achtergrond kunnen uitsluiten en dan gaat het om mensen bij wie sociaaleconomische factoren, gedrag en attitudes anders kunnen zijn dan bij degenen die de taal van de enquête spreken. Dat zet representatie onder druk.
Fraude. Sommige respondenten hacken enquêtes en gebruiken automatische vertalers om ze te begrijpen, zelfs als ze de taal niet spreken. Daarbij opereren ze vaak onder de radar. Maar we kunnen het ons niet veroorloven om respondenten uit te sluiten, tenzij hun antwoorden de kwaliteit of integriteit van onze data in gevaar zouden brengen. In dit geval wegen de risico’s van verkeerd begrepen vragen en frauduleuze respondenten op tegen het risico van verminderde representativiteit en inclusie.
In alle gevallen waarin er behoefte is aan volledige vertegenwoordiging van een bevolking, zou je enquêtes in verschillende talen moeten schrijven om zo de inbreng van alle subpopulaties te waarborgen.
Bron: research-live.com