Marketeers moeten voorzichtig zijn bij het gebruik van A/B-testen voor online advertenties op platforms zoals Meta en Google, zo stelt een nieuw onderzoek. Een advertentie die het goed doet heeft dat misschien eerder te danken aan het specifieke publiek dat de uiting ziet, dan aan creatieve elementen van de advertentie.
▼
Het onderzoek – gepubliceerd in het Journal of Marketing – ontdekte een afwijking die ‘divergent delivery’ wordt genoemd, waarbij een advertentie mogelijk beter presteert omdat de ene groep gebruikers er beter op reageert dan de andere groep.
Marketeers vertrouwen op een combinatie van methoden om de effectiviteit van advertenties te testen. A/B-testen is een veelgebruikte oplossing om de ‘beste’ online advertentie te vinden op basis van relevantie (oftewel: de advertentie laten zien aan het juiste publiek op de geschiktste tijd). Zo wordt de ene advertentie boven de andere verkozen.
Het wetenschappelijke karakter van deze tests leidt ertoe dat veel marketeers aannames doen over de validiteit van de resultaten en op basis van die data strategische beslissingen nemen. Maar de verschillen in de effecten van A/B-advertenties geven mogelijk niet volledig de ware impact van advertenties weer, zeggen de onderzoekers. In feite geven de tests marketeers een vals gevoel van zekerheid over hun datagestuurde beslissingen, zeggen zij, ‘terwijl de tests niet volledig willekeurig zijn en de resultaten niet stroken met de strikte testparameters die je moet hanteren’.
Voornaamste stellingen van het onderzoek
- Het primaire doel van een online platform is het maximaliseren van advertentie-effect, niet om testresultaten te bieden aan marketeers.
- De precieze methode om de relevantie van advertenties te bepalen en op welke gebruikers ze zich moeten richten, is in handen van de platforms en algoritmen, en dat is niet transparant voor adverteerders.
- Een advertentie die het beste presteert, doet dat simpelweg omdat het algoritme de advertentie heeft laten zien aan gebruikers die al geneigd waren om op de advertentie te reageren in tegenstelling tot de gebruikers die de andere advertentie hebben gezien.
- Marketeers accepteren te vaak de eigenlijk niet goed onderbouwde resultaten van testen of ze investeren juist in complexere en duurdere methoden om de impact van creatieve elementen in hun advertenties echt te begrijpen.
De onderzoekers zeggen dat het ze niet alleen maar gaat om het gebruik van bepaalde soorten A/B-tests. Het valt ze op dat de resultaten van A/B-test worden gepresenteerd alsof ze evenwichtig zijn, wat niet het geval is, en dat er vervolgens toch conclusies worden getrokken en beleid op wordt gebaseerd.
Bron: warc.com