In mei 2017 publiceerden webanalisten.nl de resultaten van het onderzoek naar de status van CRO en A/B-testen in Nederland. Afgelopen december hebben ze een vervolgonderzoek uitgevoerd waar ze specifiek hebben gekeken naar de verschuiving in de voorkeuren voor A/B-test software en workflow tools en het gebruik hiervan. De resultaten van dit onderzoek lees je hier.
Maar ten eerste natuurlijk dank aan iedereen die heeft deelgenomen aan het onderzoek. In totaal zijn er in de onderzoeksperiode van wederom 2 weken 357 deelnemers gestart met de enquête wat heeft geleid tot 124 gekwalificeerde respondenten die het onderzoek hebben afgerond (tegen 142 gekwalificeerde respondenten in het vorige onderzoek).
Wie zijn de respondenten?
Er is ditmaal met name gekeken of er een andere samenstelling is onder de respondenten sinds de vorige meting, omdat bij het analyseren van dit onderzoek met name kijken naar de verschuivingen sinds het vorige onderzoek.
Er hebben in absolute aantallen minder mensen meegedaan vanuit de kleinere bedrijven. De absolute deelname vanuit de andere type bedrijven is nagenoeg gelijk, wat in de procentuele verdeling zorgt voor een stijging in het aandeel van de middelgrote en grotere bedrijven in de resultaten van dit onderzoek van december 2017
De verhouding managers (27%) en specialisten (73%) is nagenoeg gelijk gebleven, alleen binnen de specialisten is de vertegenwoordiging van “medior” experts gegroeid ten kosten van “junior” en “senior” experts. Nu is de groep junioren en medioren samen even groot als de groep senioren, terwijl dit in in april een groep was die zich voor bijna 60% senior noemde.
In de vorige enquête werkte 69% aan “klantzijde” (bij een merk en niet bij een bureau of leverancier), nu is dit aandeel gestegen naar 75% (het zijn dus in absolute zin vooral minder bureau medewerkers en leveranciers die de enquête hebben ingevuld).
De respondenten werken nog steeds overduidelijk vooral voor marketing, maar er is een groei zichtbaar in respondenten die werken voor sales of een specifieke CRO afdeling.
De gemiddelde leeftijd van de respondent is ditmaal 35,3 jaar, waarmee er een stijging is van 0,8 jaar ten opzichte van de vorige enquête (welke 0,6 jaar geleden werd afgenomen). Hun gemiddelde werkervaring is toegenomen van 11 naar 11,7 jaar en het gemiddeld aantal jaar CRO ervaring per respondent is gestegen van 4 naar 4,7 jaar. De groep is qua ervaring dus meegegroeid met de maanden die voorbij zijn gegaan, hoewel er ook respondenten zijn met 0 of 1 jaar CRO ervaring in de nieuwe pool. Degenen die zij vervangen lijken met name de mensen te zijn die in de vorige enquête ook al weinig ervaring hadden.
In totaal is er een geschatte 62% overlap in respondenten die in beide enquêtes deel uitmaakten van de resultaten (op basis van opgegeven emails voor de congreskaart verloting onder de deelnemers van beide onderzoeken).
A/B-test tools: het marktoverzicht
Op basis van de gemiddelde puntentelling zoals deze ook een half jaar geleden is gebruikt blijkt VWO nog steeds de leidende tool te zijn, hoewel de voorsprong op Optimizely snel afneemt. Dit komt overigens meer door de krimp van VWO dan door de groei van Optimizely. Samen zijn beide aanbieders nog steeds goed voor een krappe meerderheid in de meest gebruikte A/B-tools.
De interessante verschuivingen zitten natuurlijk in de details en de vergelijking met het vorige onderzoek. Als eerste de veranderingen t.a.v. de “market awareness” – in hoeverre kent de respondent een tool – wie heeft de grootste absolute groei in bekendheid over de afgelopen periode?
AB Tasty is hier de grote winnaar, hun bekendheid is gegroeid van 40% naar 66%. Over het algemeen lijkt de “awareness” van de respondenten over tools toegenomen. De lichte daling bij VWO en Optimizely valt natuurlijk ook te wijten aan het grote bereik dat zij al hadden. Google zit nu met haar premium (360) en free aanbod op dezelfde bekendheid als beide marktleiders. Opvallend is ook de toename van bekendheid met eigen gebouwde oplossingen en A/B-testen binnen het Content Management Systeem.
Nu brengt naamsbekendheid natuurlijk niet direct verschuivingen in de markt qua gebruik. De meeste software contracten lopen langere tijd door. Wel is er een vergelijking gemaakt tussen het absolute procentuele stijging bij de respondenten in tools die zij gebruiken en tools die ze heel graag zouden willen gebruiken:
Dit geeft een voorspelling voor de bewegingen in de komende maanden. VWO lijkt de grote verliezer te worden (na afgelopen half jaar al marktaandeel te hebben verloren in Nederland). Daarnaast is de interesse in Google Optimize Premium is ook afgenomen, hoewel het marktaandeel nog klein is. De snelste groeiers zijn de A/B-test oplossing in het CMS, AB Tasty en A/B-testen met een eigen library binnen het tag management systeem. Zijn dit de oplossingen die het marktaandeel van VWO overnemen? Optimizely lijkt immers te stabiliseren qua groei. Een eigen server side oplossing lijkt toch minder gewenst dan een half jaar geleden.
Opvallend is de groei in de tevredenheidsscore over de meest gebruikte A/B-test tool binnen de organisatie – deze steeg van gemiddeld een 3,13 (op een schaal van 1 tot 5) naar 3,44. Dit wordt deels gewoon veroorzaakt door de huidige leiders qua marktaandeel VWO en Optimizely die een betere waardering kennen (of zijn de minder tevreden klanten nu overgestapt?) en deels door de oplossingen die gestegen zijn in marktaandeel (die een gelijke gemiddelde waardering als vorige keer hebben).
Het percentage respondenten dat de A/B-test oplossing ook gebruikt voor personalisatie is licht gedaald van 28% naar 25%.
Workflow tools: het marktoverzicht
Goed nieuws – workflow tool gebruik, test prioriterings modellen en het opslaan van learnings werd al veel gedaan door agencies, maar aan klant/merk zijde is er nu ook een grote stijging zichtbaar. Workflow tool gebruik is gestegen van 46% naar 60% en het gebruik van een A/B-test prioritering methodiek is gestegen van 54% naar 69%. Het opslaan van onderzoek en A/B-test learnings ligt hier nu op 58% (42% doet dat dus steeds nog niet!).
Jira en Trello zijn nog steeds overduidelijk marktleider en in gebruik alleen maar groter geworden de afgelopen maanden. De snelste stijger is echter de specialistische tool Effective Experiments:
Als je kijkt naar “market awareness” dan is hier ook een groei te zien in bekendheid van de meest genoemde tools, het gemiddelde awareness niveau van de respondent is hoger dan een half jaar geleden. De snelste groeiers zijn Effective Experiments en Asana, waarbij Effective Experiments als eerste van de specialistische tools nu qua bekendheid in de buurt komt van de standaard projectmanagement tools. Niet opgenomen in het overzicht is het gebruik van (enkel) spreadsheets, dit is een stabiel percentage van net geen 10% (afkomstig uit de open antwoorden).
Hoewel Asana qua bekendheid een mooie absolute groei heeft meegemaakt is dit niet de tool of choice van de respondenten. Zij zijn zelfs de grootste daler. De toppositie wordt in onderstaande groei overzicht ook ingenomen door Effective Experiments, hoewel Jira en Trello ook snel groeiden is het gat kleiner geworden en vooral de afstand groter met de andere specialistische tools. Een oudere projectmanagement oplossing zoals Basecamp heeft Effective Experiments ondertussen ver achter zich gelaten.
Tot slot
De lijsten zijn slechts de resultaten van het onderzoek, een weergave van de markt nu en de webanalisten.nl community in het bijzonder. Hoewel het een goede afspiegeling van de markt lijkt te zijn (ook op basis van marktaandeel cijfers van andere externe bronnen), zal er een bias aanwezig zijn ten aanzien van tool bekendheid en voorkeur om een tool te gebruiken. Dit wil niet per definitie zeggen dat de nummer 1, of de snelst stijgende tool de tool is die het beste bij jouw organisatie past. Gebruik deze inzichten als handvat, maak eens kennis en kies voor de oplossing die past qua requirements, budget en cultuur.
Help je over 6 maanden weer mee met de 2018 status update van webanalisten.nl? Dan gaan we ook weer dieper in op het aantal experimenten, het aantal winnaars, de gebruikte vooronderzoek methodieken en natuurlijk nemen we weer een update van het toolgebruik mee.
Auteur – Ton Wesseling, managing partner Online Dialogue
Bron – onderzoek namens Webanalisten.nl – artikel: https://anali.st/statusvancrotoolsmoa