De Sustainable Brand Index (SBI) blijft voor verwarring zorgen. Ging het in de editie van 2021 al mis, dit jaar is de situatie niet veel beter. Durk Bosma van Future of Food Institute wist vorig jaar zelfs de Reclame Code Commissie aan zijn zijde te krijgen, toen hij aanhangig maakte dat de vermeende winnaar niet met die titel mocht pronken. En hoe zit het nu?
SB Insight AB, het Zweedse bedrijf achter de Sustainable Brand Index (SBI), heeft een businessmodel dat drijft op de verkoop van rapporten. SBI baseert zijn ranking op slechts twee vragen en daar komt nog bij dat SBI twee antwoordmogelijkheden (‘goed’ en ‘heel goed’) bij elkaar optelt, zonder recht te doen aan het verschil tussen die twee antwoordcategorieën.
Durk Bosma van Future of Food Institute vindt dit een vreemde gang van zaken: ‘Een merk waarover alle respondenten zeggen dat ze ‘goed’ bezig zijn, krijgt van SB Insight dus dezelfde score als een merk waarvan alle respondenten zeggen dat ze ‘heel goed’ bezig zijn. De twee vragen van de SBI worden gesteld aan iedereen die een bepaald merk ook maar enigszins (van naam) kent. Als je die vraag stelt aan mensen die zelf geen ervaring hebben met een merk of bedrijf, meet je slechts de reputatie van een bekend merk en een oppervlakkig algemeen beeld dat grotendeels met de categorie te maken heeft waarbinnen een merk actief is.’
Wie als winnaar eindigt, wordt grotendeels bepaald door wie meedoen als merk. Duidelijk is wel dat een klein merk dat heel duurzaam is, door deze selectieprocedure nooit het meest duurzame merk kan worden. De vraag is of het gerechtvaardigd is om een merk tot meest duurzame in zijn categorie uit te roepen als je niet alle relevante concurrenten in de vergelijking meeneemt.
Verantwoordelijkheid adverteerder
In de vorige editie van de SBI kwam Albert Heijn als meest duurzame supermarkt uit de bus, en AH kwam daar ook mee naar buiten. Of AH het goed heeft gedaan is niet duidelijk, wel dat meer mensen denken dat AH het beter deed dan de rest. Bosma: ‘En zelfs dat wisten we niet zeker, omdat we niet helder is of de score wel genoeg verschilt van de nummer twee om als significant te mogen worden bestempeld.’
Durk Bosma legde de zaak voor aan de Reclame Code Commissie. Die oordeelde in november 2022 dat aannemelijk was gemaakt dat er een statistisch significant verschil tussen de nummers één en twee ontbreekt. Als de titel ‘winnaar’ wordt gebruikt in een uiting of campagne, dan rust op adverteerder de verantwoordelijkheid om zeker te weten dat zo’n uitkomst en het onderliggende onderzoek kloppen. Dat geldt temeer als het gaat om een actueel onderwerp, zoals duurzaamheid, en de gunstige uitkomst wordt gebruikt in reclame waarbij de adverteerder wordt gekoppeld aan het handhaven en bevorderen van een schoon en veilig leefmilieu. Dat het in dit geval een onderzoek naar de ‘perceptie van de consument’ betrof, en geen feitelijk onderzoek naar bijvoorbeeld AH’s resultaten op het gebied van duurzaamheid, maakte volgens de RCC geen verschil. In beide gevallen moet de consument erop kunnen vertrouwen dat een uiting juist is. De RCC adviseerde AH om niet meer op een dergelijke wijze reclame te maken, en daar legde AH zich bij neer.
Nog steeds te klein verschil
Op 23 maart kwam het onderzoek van SBI naar buiten. Tony’s Chocolonely staat bovenaan. Het verschil met de nummer twee, de Vegetarische Slager, is – ook nu weer – te klein om Tony’s als winnaar aan te wijzen. Ook de winnaars in de categorieën Airlines, Banken, Beauty, Digital, E-Commerce, Energy, Health Insurance, Holiday Parks, Hotels, Restaurants, Retail DIY, Drugstore, Fashion en Supermarkets mogen zich geen winnaar noemen omdat het verschil met de nummer twee te klein is.
SBI zegt zelf in haar rapport: ‘The two questions that form the basis of the ranking score both have a respective margin of error of 2,5-3%, resulting in a total margin of error for the ranking score of 5-6%. This indicates that the results obtained from the sample population are within a range of +/-5-6% of the actual population’s values, with a confidence level of 95%.’
Durk Bosma: ‘Als het verschil minder is dan zo’n 5%, is er geen winnaar aan te wijzen. Ieder merk dat zich, als het verschil te klein is, desondanks winnaar noemt, in persberichten en advertenties etc. kan een gang naar de Reclame Code Commissie verwachten.’ Pikant detail: Lidl staat bovenaan in de categorie Supermarkets en pronkt er al mee op LinkedIn.
Op één hoop
Nadat Bosma over het vorige onderzoek een artikel schreef op Marketingfacts, reageerde SB Insight op zijn kritiek. Over het feit dat er slechts twee vragen worden gesteld in het onderzoek, zegt SBI: ‘De rangschikking is gebaseerd op twee kernvragen over duurzaamheid: de perceptie van de (1) ecologische en (2) sociale verantwoordelijkheid van de merken. Dit is om een index te creëren die relevant is voor alle merken, ongeacht de branche. Het is normaal dat een of twee vragen een algemene index vormen, niet in de laatste plaats bij onderzoeken naar merkreputatie.’ Bosma bestrijdt dat: ‘Dat het vaak zo gebeurt, zegt hooguit iets over de kwaliteit van andere onderzoeken. Een goede index zou moeten bestaan uit een gebalanceerd aantal valide vragen die samen een goed beeld geven van de verschillende aspecten van duurzaamheid.’ Een van de bezwaren tegen de index was het op één hoop gooien van de antwoorden ‘goed’ en ‘zeer goed’. SBI noemt dit de Top Box/Top 2 Box-methode: ‘Dit is een methode die we vanaf het begin van het onderzoek hebben gekozen om de algemene rangschikking begrijpelijker te maken voor onze belanghebbenden.’ Bosma: ‘Een gemiddelde score zou ook begrijpelijk zijn, begrijpelijker voor een leek. Door de keuze om deze twee bij elkaar op te tellen, scoren goede merken even goed als zeer goede merken. Je kunt verwachten dat deze keuze in het voordeel is van grote, bekende, maar niet heel duurzame merken.’ Ander punt was het feit dat de vragen (ook) worden gesteld aan mensen die een merk alleen van naam kennen. SBI: ‘Zo voer je een consumentenmerkonderzoek uit waarbij je de status onder de bevolking wilt weergeven. We willen weten wat gewone mensen denken. We meten ook het kennisniveau om te zien in hoeverre ze zich van dingen bewust zijn.’ Bosma werpt tegen dat je iemand die een merk ‘alleen van naam’ kent, niet om een zinvol oordeel kunt vragen over hoe duurzaam hij dat merk vindt. De keuze om dit wel te doen, is wederom in het voordeel van grote, bekende, maar niet heel duurzame merken.
SBI laat verder weten dat er merken worden gekozen op basis van marktaandeel en naamsbekendheid. Bosma: ‘Er wordt geen drempelwaarde en geen weging bekend gemaakt. Een transparant criterium zou zijn: We selecteren merken met een marktaandeel van meer dan 10% en een geholpen naamsbekendheid van meer dan 25%.’
Significantie
Het heikele punt ‘significantie’ wordt door SBI wel benoemd: ‘The differences between brands, such as for example the top 5, are sometimes statistically significant and sometimes not. It is a tight race in the top. Tony´s, Vegetarian Butcher and Greenchoice are all strong sustainable brands. We have chosen to publish a winner anyway, instead of, for example, making several brands number 1. It increases the interest in the study and, hence, in sustainability, according to us.’
Conclusie volgens Bosma: omdat het uitroepen van een winnaar interessant is voor de publiciteit, negeert SBI doelbewust de regels rondom significantie. Het uitroepen van een winnaar is vooral interessant voor SBI zelf – en de winnaars natuurlijk – maar doet geen recht aan de intentie van het onderzoek en de uitkomst.
Test case
Kort geleden is door ESOMAR, de Marketing Research Association en de Insights Association een gezamenlijk initiatief aangekondigd om fraude rond data aan te pakken. Daarbij gaat het ook om de kwaliteit van data. Er worden steeds vaker vraagtekens gezet bij rankings en nu SBI opnieuw komt met een onderzoek dat de grenzen op zijn zachtst gezegd nogal oprekt, ligt er voor de drie organisaties een mooie test case klaar.