Annemarie Klaassen sprak tijdens het Digital Analytics Congres 2019 over een succesvoller CRO-programma. Ze gaf 10 praktische tips hoe je de validiteit van je A/B-testen kunt checken en waarborgen.
1. Voorkom het flicker effect
Je ziet de pagina wijzigen in de testvariant en zo zie je dus een kleine seconden zowel versie A als B. Voorkom dit effect door geen gebruik te maken van het drag and drop systeem in testools. Het allerbeste kun je CSS /html code (laten) schrijven voor een A/B-test waar het flicker effect groot is.
2. Leg vast hoe en waar je test
Leg in een document vast op welke apparaten, browsers, versies je de A/B-testen altijd in checkt. Zo kun je er nooit eentje vergeten en doet elk team hetzelfde. Zorg ook dat deze apparaten en versies aanwezig zijn. Vergeet ook niet om alle functionaliteiten op de pagina te testen, ook al is daar niks aan veranderd.
3. Target de test zo specifiek mogelijk
De testpopulatie is iedereen die de test ook daadwerkelijk ziet. Als je een A/B-test onderaan de pagina houdt, dan zal niet iedereen in de test komen. Laad de A/B-test pas in als iemand onderaan de pagina komt.
4. Check je sample rate mismatch
Controleer of je bezoekers wel evenredig worden verdeeld over variant A en B. Als dit ver uit een loopt is er iets aan de hand. Een valide test zul je dan niet draaien. Neem dit mee in je document bij tip 2.
5. Ga goed om met steekproefvervuiling
Het komt steeds vaker voor. Mensen komen zowel in variant A als B terecht omdat zij bijvoorbeeld cookies wissen, incognito de site bezoeken, verschillende browsers of apparaten gebruiken. Maar ook door ITP. Je kan het niet helemaal voorkomen maar probeer de volgende tips mee te nemen. Test niet onnodig lang, test op 100% van je verkeer, test met niet al teveel varianten (A en B is vaak genoeg), test op pagina’s met een hoge sessie conversie ratio, test niet al te kleine dingen.
6. Pas op met generaliseren
Test altijd volle weken. De conversie fluctueert vaak per dag. Pas op met de dagen voor bepaalde feestdagen waar de koopintentie vaak anders is.
7. Analyseer met mate
Ga je achteraf niet suf analyseren om maar iets te vinden. Analyseer alleen de dingen die je vanuit je hypothese hebt opgesteld en die je van tevoren hebt bepaald.Test geen meerdere hypotheses in 1 experiment en corrigeer de P-waarde.
8. Automatiseer je na-analyse
Maak één rapportage voor elk team waarin zij vooraf bepaalde metrics in kunnen zetten en waar automatische berekeningen worden gemaakt. Elke test wordt dan hetzelfde aangepakt door iedereen. Anders krijg je vaak kleine verschillen want de één pakt sessies en de ander gebruikers etc. Ook de uitkomsten worden dan elke keer weer op dezelfde manier gepresenteerd zodat dit duidelijk is voor de stakeholders.
9. Duidelijk format
Zorg voor een presentatie format die iedereen gebruikt. Daar voorkom je ook weer mee dat je 20 verschillende versies krijgt en iedereen het op zijn eigen manier invulling geeft.
10. Leer van elke test
Vier je winnaars, maar ook zeker de testen die hebben gefaald. Keep failing till you make it!
Bekijk de gehele presentatie op: https://www.digitalanalyticscongres.nl/presentaties?utm_source=newsletter_1299&utm_medium=email&utm_campaign=moa-dac-persbericht-bezoekers
Door Amanda van der Linden, Conversie optimalisatie specialist, oktober 2019