Verwarring alom: wie is nou de duurzaamste supermarkt? Albert Heijn? Nee toch Plus. Oh nee, ook SPAR, Jan Linders en Boni. Durk Bosma heeft zijn levensgrote twijfels bij twee bekende rankings.
De afgelopen weken vlogen de ronkende berichten ons om de oren. Zowel GfK als Sustainable Brand Index maakte bekend welke supermarkt volgens de consument het meest duurzaam is. Voor de marketeers van de supermarkten die bovenaan staan, was het alle reden om de vlag uit te hangen. Prachtige content voor het persbericht, vergezeld van een foto met een grote glimlach.
Maar er is iets vreemds aan de hand. Zowel Albert Heijn als PLUS zijn de meest duurzame supermarkten. En echt duurzamere supermarkten zoals Ekoplaza, zijn blijkbaar niet de meest duurzame.
Beginnersfout
Betekent de nummer 1-positie in dit soort rankings eigenlijk wel iets? Nauwelijks. Als de totaalscores van twee merken in een fotofinish heel dicht bij elkaar liggen, is het onzin om er eentje tot winnaar uit te roepen. Dat weet iedereen met een basale kennis van statistiek. De foto is veel te onscherp.
GfK presenteert scores met twee cijfers achter de komma, schijnprecisie. Maar op basis van 0,02 verschil roept GfK wel PLUS uit tot meest duurzame supermarkt. Een beginnersfout van een niettemin zeer professioneel bureau. Dat is merkwaardig.
Consumenten vinden Boni en Jan Linders net zo duurzaam. Hetzelfde geldt voor SPAR. De conclusie moet dan ook zijn dat er geen enkele supermarkt zich onderscheidt op basis van duurzaamheid en dus dat er geen winnaar is.
Kabaal
SB Insight AB, het Zweedse bedrijf achter de Sustainable Brand Index, maakt het nog bonter. Het businessmodel achter de index is het verkopen van rapporten. Om dat te kunnen doen, organiseert het bedrijf jaarlijks een onderzoek om vervolgens de resultaten met veel kabaal te presenteren. SBI baseert zijn ranking op slechts twee vragen, een flinterdunne score. Daar komt nog bij dat SBI twee antwoordmogelijkheden (‘goed’ en ‘heel goed’) bij elkaar optelt zonder recht te doen aan het verschil tussen die twee antwoordcategorieën.
Een merk waarover alle respondenten zeggen dat ze ‘goed’ bezig zijn, krijgt van SB Insight dus dezelfde score als een merk waarvan alle respondenten zeggen dat ze ‘heel goed’ bezig zijn. De absolute scores worden niet gecommuniceerd (althans als je het rapport niet koopt), zodat we geen inzicht krijgen in hoe groot nou het verschil is tussen de verschillende merken. Uit navraag bleek dat de winnaars zich soms wel en soms niet onderscheiden – volgens de basisregels van de statistiek – als echte winnaars.
Vraagtekens
Wie als winnaar eindigt, wordt grotendeels bepaald door wie meedoen. Bij de selectieprocedure van SB Insight mag je op z’n minst vraagtekens zetten. Zo staat het kleine merk Campina Botergoud tussen de meest duurzame food-merken maar komt Jan Linders, die zo goed bezig is volgens GfK, helemaal niet voor in de lijst met duurzame supermarkten. Een goede uitleg hiervoor kon SBI niet geven. Duidelijk is wel dat een klein merk dat heel duurzaam is, door deze selectieprocedure nooit het meest duurzame merk kan worden. De vraag is of het gerechtvaardigd is om een merk tot meest duurzame in zijn categorie uit te roepen, als je niet alle relevante concurrenten in de vergelijking meeneemt.
'Rankings moeten wel gebaseerd zijn op gedegen en transparant onderzoek'
Reputatie
De twee vragen van de Sustainable Brand Index worden gesteld aan iedereen die een bepaald merk ook maar enigszins (van naam) kent. Duidelijk mag zijn dat als je die vraag stelt aan mensen die zelf geen ervaring hebben met een merk of bedrijf, je slechts een opinie meet. Men meet dus vooral de reputatie van een bekend merk en een oppervlakkig algemeen beeld dat grotendeels met de categorie te maken heeft waarbinnen een merk actief is.
Geen wonder dus dat Albert Heijn als meest duurzame supermarkt uit de bus komt rollen bij SB Insight. Wat er echt onder de motorkap gebeurt, blijft buiten zicht. Toch zien we in allerlei berichten een trotse CEO vertellen hoe goed Albert Heijn het wel niet gedaan heeft. In werkelijkheid weten we dus helemaal niet hoe goed Albert Heijn het heeft gedaan, alleen dat meer mensen denken dat Albert Heijn het beter gedaan heeft dan de rest. En zelfs dat weten we niet zeker, omdat we niet weten of de score wel genoeg verschilt van de nummer twee Jumbo (niet toevallig ook nummer twee qua marktaandeel) om als significant te mogen worden bestempeld.
Transparant onderzoek
Rankings zijn nuttig omdat ze organisaties in beweging kunnen krijgen. Maar dan moeten die rankings wel gebaseerd zijn op gedegen en transparant onderzoek. En alle relevante concurrenten moeten worden meegenomen. Bovendien moet de manier waarop resultaten worden gepresenteerd recht doen aan de beperkingen die aan surveyonderzoek kleven. Wie daar geen rekening mee wil houden, houdt de boel voor de gek.
Wat dat betreft is het initiatief van Questionmark veelbelovend. Zij komen later dit jaar met een duurzaamheidsindex die wel transparant is en relevante dingen meet. https://www.thequestionmark.org/over/superlijst-groen-2021 Ik ben benieuwd wie daar op eerste plek eindigt.
Dit artikel verscheen eerder op www.foodlog.nl