Simone Neeling is cro-specialist en webanalist bij VodafoneZiggo en genomineerd voor MOAward Digital & Webanalist 2022. De andere twee genomineerden zijn Daan Bouwmeester (Swapfiets) en Dion Westerbos (a.s.r.). Interviews met hen publiceren we de komende weken.
Wat doe je als cro-specialist en webanalist?
‘Ik focus me op het stuk dat begint met het winkelwagentje en eindigt met het bedankje voor je bestelling. Ik doe de analyse op technisch vlak, maar ook van het commerciële stuk: hoe zijn de conversieratio’s in dat pad en hoe kunnen we die verbeteren? Dat verbeterstuk doen we op basis van cro.’
Heb je daar een methodiek voor?
‘We hebben een programma op basis van een hypothesemodel. In plaats van allemaal losse A/B-testen te doen, werken we meer gestructureerd. Zo hebben we vijf strategieën gedefinieerd. Bijvoorbeeld een strategie om de motivatie te verhogen van gebruikers. Daaronder kun je weer allerlei hypotheses scharen.’
Wat win je daarmee?
‘Het stelt je in staat om meer gestructureerd het gedrag van een klant te begrijpen. Maar ook om meta-analyses te doen. Dus naarmate we meer experimenten doen, kunnen we ook zien op welke pagina’s welke strategie het vaakst tot een winnaar leidt.’
‘Mijn rol als cro-specialist is om abstracte data te vertalen naar inzicht en aanbeveling’
In hoeverre zijn inzichten niet vaak aannames?
‘Mijn rol als cro-specialist is om abstracte data te vertalen naar inzicht en aanbeveling. Daarbinnen baseer je je zo veel mogelijk op wat je ziet gebeuren. Alleen op het moment dat je dat gaat verklaren, komen er aannames op de hoek kijken. Maar dat zijn eigenlijk hypotheses die je kunt testen om vervolgens die aannames te ontkrachten of te bevestigen. Door het zo klein mogelijk te maken, kun je het trechteren.’
Wat is daarin de grootste uitdaging?
‘Het liefste wil je natuurlijk de A/B-test zo klein mogelijk houden. Je wilt maar één wijziging per keer valideren, want dan weet je dat het effect dat je vindt komt door dat ene kleine ding dat jij hebt aangepast. Maar dat betekent ook dat je de capaciteit moet hebben om veel tests te doen. Een alternatief is meerdere wijzigingen in één A/B-test te zetten. Nadeel daarvan is dat je niet zeker weet door welke wijziging iets wordt veroorzaakt. Het is zoeken naar een balans tussen precies weten en de snelheid die een organisatie vraagt. En de beperkingen die je ook altijd hebt in menselijke capaciteit.’
‘Zomaar dingen live zetten, zonder het te valideren, maakt dat je in het duister tast’
Hoe maak je keuzes?
‘Een doel voor mijzelf dat ik graag intern bereik, is om alles vanuit data te doen. Er is een mooie quote van statisticus Deming: ‘without data you’re just another person with an opinion’. Wij zien dat ook kleine veranderingen grote effecten kunnen hebben. Zomaar dingen live zetten, zonder het te valideren, maakt dat je in het duister tast. Dus cro zou in die zin meer een mindset dan een tool moeten zijn. Vanaf het begin moeten we nadenken bij alles wat we willen: wat gaat dat opleveren en kunnen we dat valideren – voordat we het laten bouwen. Als je zo zou werken, zou het duidelijk moeten zijn in je sprintplanning welke user stories het meeste gaan bijdragen aan je KPI.’
Dat is je streven?
‘Ja, en ik denk dat wij dat binnen ons team ook goed doen. Wij zetten nagenoeg geen wijzigingen live die de userinterface veranderen voordat we die hebben gevalideerd.’
En wat is ervoor nodig om dat als team te doen?
‘Je hebt sowieso mensen nodig die daarvoor openstaan. Want het is best wel een dingetje. Allerlei mensen werken op die webshop – en ook de medewerker van de klantenservice heeft een mening hoe de webshop eruit moet zien. Op het moment dat je alles gaat valideren, zie je dat niet elke A/B-test een winnaar is. Met andere woorden: meer dan de helft van onze ideeën zijn helemaal geen goede ideeën, want ze dragen niet bij. Maar van tevoren weet je niet welke goed is en welke niet. Het vraagt echt wel iets van mensen om te accepteren dat niet ieder idee goed is.’
Wat zie je als jouw rol?
‘Waar ik afgelopen jaar veel mee bezig ben geweest, is data meer democratiseren. Het is heel makkelijk geïrriteerd te denken ‘weer iemand met z’n eigen waarheid’. Terwijl die persoon misschien helemaal geen idee heeft van wat we aan tools hebben om te valideren. Dus het begint met laten zien dat iets kan. Ik zorg dat testen die we doen worden gedeeld. En als ik een nieuwe A/B-test presenteer, geef ik daar altijd achtergrondinformatie bij, bijvoorbeeld op basis van welke inzichten we denken dat dit een goed idee is. Als mensen mij vragen om iets uit te zoeken, vraag ik eerst wat ze precies willen bereiken. Dan kan ik ze vertellen welke tools daarvoor zijn.’
‘Ik ben gek op de kleine aanpassingen die voor een groot effect zorgen’
Noem eens een inzicht dat jou heeft verrast?
‘Ik ben gek op de kleine aanpassingen die voor een groot effect zorgen. Met een andere kleur achtergrond op een productpagina hebben we een flinke uplift weten te realiseren. Een ander voorbeeld: in de check-out flow van de webshop hebben we bij iedere stap twee buttons. Ga door naar de volgende stap of terug naar de vorige. Die buttons zijn even groot. Dan maken we het mensen wel heel makkelijk om af te haken, dachten we. Dus hebben we van ‘terug naar de vorige pagina’ een linkje gemaakt. Dan is-ie minder opvallend. Mensen om ons heen vonden het een no-brainer. Maar wat denk je: significant negatieve impact op de conversie.’
Hoe leg je dat uit?
‘Onze uitleg is dat het zien van de terugknop zodanige gevolgen heeft voor het gevoel van autonomie van de gebruiker – ‘ik kan nog terug’ – dat het geruststelt en mensen daardoor hun order afmaken.’
Dat is dan een aanname. Zou je het niet liever zeker weten?
‘Met een A/B-test beantwoord je één vraag, maar heb je misschien wel tien nieuwe vragen gekregen. Maar dat is het mooie. Zo leidt zo’n inzicht weer tot nieuwe testideeën.’
De winnaars van de MOAwards worden op 23 juni bekendgemaakt. Kijk voor meer informatie op www.moawards.nl
Simone Neeling (VodafoneZiggo)