Strat7, dat zich richt op strategisch inzicht en klantanalyse, heeft een whitepaper gepubliceerd over de prestaties en betrouwbaarheid van synthetische data in marktonderzoek. Daar blijkt nog het nodige aan te mankeren. ‘De nauwkeurigheidsnorm die aanbieders van synthetische data hanteren is academisch.’
▼
De whitepaper, ‘Putting Synthetic Data to the Test: A Real-World Evaluation‘, bevat een onafhankelijke vergelijking van de kwaliteit van synthetische data. De onderzoekers van Strat7 keken naar twee aanbieders van synthetische data, met behulp van evaluatiecriteria die zij ontleenden aan gebruiksscenario’s van opdrachtgevers. Strat7 voerde het onderzoek uit in samenwerking met Dunnhumby dat via hun Shopper Thoughts-community de respondentgegevens leverde.
Uit het onderzoek blijkt dat beide aanbieders van synthetische data boost-data creëerden die in grote lijnen overeenkwamen met echte data op basisniveau, zoals merkbekendheid. De onderzoekers zagen echter ook belangrijke problemen, toen ze complexere analyses uitvoerden.
- Versterkte reacties misten de logische consistentie van echte mensen;
- Een ‘bunching effect’, waarbij minder reacties werden gevonden aan de uitersten van de schaal;
- Uiteenlopende uitkomsten in de analyse van de belangrijkste drijfveren;
- Inconsistente segmentatie.
Op basis van de bevindingen beveelt Strat7 aan om het gebruik van synthetische gegevens te beperken tot maximaal 5% van de totale steekproef. En ze mogen alleen worden gebruikt om ondervertegenwoordiging van demografische groepen te compenseren.
De onderzoekers concludeerden ook dat synthetische data niet geschikt zijn voor analyses met segmentatie, belangrijke drijfveren of gedragsvoorspelling.
Zien ze eruit als echte data?
Om het onderzoek goed uit te voeren, ontwikkelde Strat7 een aantal criteria. Nauwkeurigheid was het eerste criterium. De basis was: zien de data eruit als echte gegevens als je ze vraag voor vraag bekijkt? Vervolgens werden de data in detail bekeken met consistentie en variatie als leidraad, oftewel: als je vragen bekijkt, als je kruistabellen maakt, houden de relaties dan stand? Is er dezelfde spreiding van reacties die je krijgt in menselijke steekproeven?’
De volgende criteria hadden betrekking op de belangrijkste drijfveren: zouden synthetische en echte data tot dezelfde uitkomst leiden bij het analyseren van de factoren die koopgedrag het meest beïnvloeden? En een ander criterium was segmentatie. Leveren synthetische en echte data vergelijkbare resultaten op bij groepering op basis van antwoorden.
De onderzoekers splitsten echte enquêtereacties op in ’training’- en ‘holdout’-sets (de eerste vertegenwoordigt een onvolledige dataset die wordt aangevuld met de synthetische antwoorden, en de tweede is de dataset die apart werd gehouden voor synthetische providers en die kan worden gebruikt als een onafhankelijke benchmark voor vergelijking met de synthetisch versterkte data.
Logica en consistentie verdwijnen
Uit het onderzoek van Strat7 bleek dat beide aanbieders van synthetische data op basisniveau relatief goed presteerden, wat suggereert dat synthetische data de echte data redelijk kunnen benaderen bij het rapporteren van merkbekendheid of aankoopfrequentie.
De resultaten van synthetisch gebooste data verschilden echter aanzienlijk, afhankelijk van de provider. Bovendien bleek uit de resultaten dat de huidige synthetische datatechnologie – hoewel geavanceerd genoeg om antwoorden op individuele vragen te produceren – geen coherente respondenten kan weergeven, want logica en consistentie verdwenen toen de antwoorden op meerdere vragen werden vergeleken. En er was een verschil tussen synthetische en echte data over wat consumenten drijft.
Industriestandaard?
Is er behoefte aan een industriestandaard? De onderzoekers zeggen daarover: ‘Er is waarschijnlijk behoefte aan, maar het is lastig om die concreet te maken, omdat de nauwkeurigheidsnorm die aanbieders van synthetische data hanteren academisch is. Het is niet duidelijk of de boost die je geeft aan echte datagegevens, gelijk is aan de echte data. Klanten met wie we werken geven er waarschijnlijk niet om. Die zeggen alleen: ‘Zou de boost een echt persoon kunnen zijn?’ Je moet dan vragen naar het niveau van de respondent en hoe realistisch die antwoordt op alle vragen?
Bron: research-live.com