‘Verwarring alom: wie is nou de duurzaamste supermarkt? Albert Heijn? Nee, toch Plus. Oh nee, ook SPAR, Jan Linders en Boni?’ In april 2021 sprak Durk Bosma van the Future of Food Institute op Foodlog zijn verbazing uit over de rankings van ‘de duurzaamste supermarkten’ door o.a. de Sustainable Brand Index. Waar was Ekoplaza? Ondanks alle negatieve aandacht veranderde de index niets aan de opzet. Bosma besloot begin dit jaar een klacht te deponeren bij de Reclame Code Commissie (RCC). Die deed onlangs uitspraak: de ranglijst suggereert precisie die er niet is.
Her onderzoek waarop de ranking is gebaseerd is gedaan door SB Insight AB uit Zweden. Het businessmodel achter hun Sustainable Brand Index (SBI) is het verkopen van rapporten, zegt Bosma. De index baseert zich op slechts twee vragen. Daar komt nog bij dat SBI de twee antwoordmogelijkheden (‘goed’ en ‘heel goed’) bij elkaar optelt zonder recht te doen aan het verschil tussen die antwoordcategorieën. Bosma: ‘Een merk waarover alle respondenten zeggen dat ze ‘goed’ bezig zijn, krijgt van SB Insight dus dezelfde score als een merk waarvan alle respondenten zeggen dat ze ‘heel goed’ bezig zijn. De absolute scores worden niet gecommuniceerd (althans als je het rapport niet koopt), zodat we geen inzicht krijgen in hoe groot nou het verschil is tussen de verschillende merken.
SB Insight stelt de vragen aan iedereen die een bepaald merk ook maar enigszins (van naam) kent. ‘Duidelijk mag zijn dat als je die vraag stelt aan mensen die zelf geen ervaring hebben met een merk of bedrijf, je slechts een opinie meet’, zegt Bosma.
‘Als je vragen stelt aan mensen die geen ervaring hebben met een merk of bedrijf, meet je slechts een opinie’
Ondoorzichtig
Albert Heijn kwam als meest duurzame supermarkt uit de bus rollen (voor de zesde keer achtereen). Bosma: ‘In werkelijkheid weten we helemaal niet hoe goed Albert Heijn het heeft gedaan, alleen dat meer mensen denken dat Albert Heijn het beter gedaan heeft dan de rest. En zelfs dat weten we niet zeker, omdat we niet weten of de score wel genoeg verschilt van nummer twee om als significant te mogen worden bestempeld.’ Vooral het feit dat AH met de eerste plaats in een reclamecampagne naar buiten kwam, bracht Bosma ertoe naar de RCC te stappen en een klacht in te dienen. Kern van de klacht: het onderzoek van SB Insight biedt onvoldoende aanknopingspunten voor de claim van duurzaamste supermarkt. De verschillen tussen de nummer één en de andere deelnemers zijn in veel gevallen te klein om te kunnen spreken van een winnaar. Het onderzoeksbureau roept desondanks toch een winnaar uit om publicitaire redenen. Tweede argument: de selectieprocedure is ondoorzichtig: alleen grote merken mogen meedoen. De meest relevante naam onder de duurzame supermarkten, Ekoplaza, ontbreekt in het onderzoek. Bovendien kunnen consumenten er moeilijk achter komen welke merken hebben meegedaan. Het misleidende is dat de consument mag verwachten dat relevante merken (dus Ekoplaza) hebben meegedaan, wat dus niet het geval is. De klacht is primair gericht tegen het onderzoeksbureau, maar het is ook misleidend hoe Albert Heijn meelift op de publiciteit die op oneigenlijke wijze is verkregen.
‘Het onderzoeksbureau roept desondanks toch een winnaar uit, om publicitaire redenen’
Transparant
In een verweer zegt Albert Heijn dat het onderzoeksbureau transparant is over de criteria: merken worden onafhankelijk gekozen op basis van marktaandeel, omzet en algemene merkbekendheid. Merken kunnen zelf niet kiezen of ze wel niet worden opgenomen. Winnaars mogen naar de uitslag van het onderzoek verwijzen in hun communicatie. In het onderzoek zijn uitsluitend de acht grootste supermarktketens van Nederland meegenomen. AH constateerde dat deze informatie ontbreekt in hun uiting en paste dat vervolgens aan.
Regels genegeerd
Durk Bosma stelde hier tegenover dat het verschil tussen de score van nummer één en twee niet 8% is, zoals AH stelde, maar de helft daarvan. Door een ongebruikelijke schaal van 200% te hanteren, lijkt het verschil groter dan het in werkelijkheid is. ‘In gedegen marktonderzoek is het gebruikelijk om te bepalen of er daadwerkelijk sprake is van een winnaar door middel van een toets waarmee wordt vastgesteld of er een statistisch significant verschil is’, aldus Bosma. Op basis van de verstrekte cijfers en de bij hem bekende gegevens over de steekproefgrootte, concludeerde hij dat er geen sprake is van een dergelijk significant verschil. ‘Het gebrek daaraan lijkt misschien een futiliteit, maar dat is het niet’, aldus Bosma. ‘Het begrip significantie is in het leven geroepen om echte verschillen te kunnen onderscheiden van willekeurige verschillen die kunnen optreden als je survey-onderzoek onder steekproeven doet.’ Uit emailwisseling die Bosma had met SB Insight bleek volgens hem dat men doelbewust de regels rondom significantie heeft genegeerd omdat het uitroepen van een winnaar interessant is vanwege de publiciteit. Dat AH in de uiting heeft toegevoegd dat het onderzoek onder de grootste acht supermarktketens is verricht, was volgens hem onvoldoende, omdat nu nog steeds niet duidelijk genoeg was welke merken wel en niet zijn meegenomen.
‘De adverteerder hoort zeker te weten dat de uitkomst en het onderliggende onderzoek kloppen’
Grote verantwoordelijkheid adverteerder
De RCC oordeelde dat aannemelijk was gemaakt dat er een statistisch significant verschil tussen de nummers één en twee ontbreekt. Als de titel ‘winnaar’ wordt gebruikt in een uiting of campagne, dan rust op adverteerder de verantwoordelijkheid om zeker te weten dat zo’n uitkomst en het onderliggende onderzoek kloppen. Dat geldt temeer als het gaat om onderzoek over een actueel onderwerp, zoals duurzaamheid, en de gunstige uitkomst wordt gebruikt in reclame waarbij de adverteerder wordt gekoppeld aan het handhaven en bevorderen van een schoon en veilig leefmilieu. Dat het in dit geval een onderzoek naar de ‘perceptie van de consument’ betrof, en geen feitelijk onderzoek naar bijvoorbeeld AH’s resultaten op het gebied van duurzaamheid, maakt geen verschil. In beide gevallen moet de consument erop kunnen vertrouwen dat een uiting juist is. Door pas na het plaatsen van de uiting, en na het indienen van de klacht, contact te zoeken met het onderzoeksbureau over de opzet en uitkomst van het onderzoek, heeft AH naar het oordeel van de Commissie zijn verantwoordelijkheid niet genomen en daardoor gehandeld in strijd met de eisen van professionele toewijding. Nu de bestreden uiting bovendien het economische gedrag van de gemiddelde consument wezenlijk kan verstoren, is deze oneerlijk. En daarom beveelt de RCC de adverteerder aan om niet meer op een dergelijke wijze reclame te maken.
AH kon zich nog verweren tegen het oordeel van de RCC, maar heeft dat binnen de gestelde termijn niet gedaan.