Tijdens het Digital Analytics Congres 2019 sprak Annemarie Klaassen in haar 10 tips om de validiteit van je A/B-testen te controleren al over SRM (Sample Ratio Mismatch). Controleer of je bezoekers wel evenredig worden verdeeld over variant A en B. Als dit ver uit een loopt is er iets aan de hand. Een valide test zul je dan niet draaien. Een veel voorkomend probleem waar we vaak niet bij stil staan en waardoor je A/B-test waardeloos wordt. Er is een oplossing.
Wat is SRM?
Bij A/B-testen is het de bedoeling dat er evenveel bezoekers in versie A en in versie B (C etc.) komen. 50-50 bij een A/B-test. Bij SRM is dit niet het geval. Je komt er naderhand of tijdens de test achter dat het verkeer 60-40, 70-30 of erger is.
SRM experimenten hebben serieuze data kwaliteitsproblemen en het geeft verkeerde resultaten. De meeste testplatforms waarschuwen gebruikers ook niet voor SRM-problemen.
Voorbeeld:
Er zijn veel minder bezoekers in versie B. Met een SRM p-waarde van 0.00000000000000022, slaagde dit experiment duidelijk niet voor de test. Een analyse achteraf onthulde dat er minder IE & mobiele gebruikers werden geregistreerd in de behandelingsgroep. De oorzaak? Versie B duurde 5 seconden langer om te laden en had invloed op de tracking.
Stel je voor dat +- 2.000 bezoekers niet wachten tot de pagina is geladen. In dat geval kan de conversieratio worden beïnvloed met bijna -18%.
Zonder SRM vooraf te testen, kun je echt in de problemen komen.
Gebruik de SRM checker (gemaakt door o.a. Lukas Vermeer van Booking.com): https://lukasvermeer.nl/srm/
Bron: MOA, Amanda van der Linden, 23 februari 2020