Bewijs in 50 tinten grijs

Welkom bij Myth Busters, de blog waarin Kees van Duyn en Robert van Ossenbruggen de jubelverhalen over innovaties aan zich voorbij laten gaan, en een kritische blik werpen op datgene wat we met z’n allen voor zoete koek slikken. Robert van Ossenbruggen schreef een laatste bijdrage aan de serie. Hij stelt zeven alarmbel-vragen. Voor het broodnodige perspectief.

Ik eindigde mijn vorige Myth Busters met een citaat van Richard Feynman: ‘Religion is a culture of faith; science is a culture of doubt.’ Twijfelen is gezond. Het maakt je een kritische denker en daarmee een betere professional. Zeker in ons vak, waar we op dagelijkse basis de zin van onzin moeten onderscheiden.
Maar de waarheid dient zich niet altijd aan in zin of onzin, feiten of fabels, zwart of wit; er zijn nagenoeg altijd argumenten vóór én tegen. De uiteindelijk grijstint van een claim, onderzoek of conclusie wordt bepaald door de mate waarin er sprake is van degelijke en overtuigende onderbouwing. In tegenstelling tot wat vaak wordt gedacht hoef je geen methodoloog, statisticus of door de wol geverfde academicus te zijn om te beoordelen met welke grijstint je hebt te maken. Met slechts zeven vragen kun je vrij nauwkeurig inschatten wanneer de twijfelbellen mogen gaan rinkelen.

1. Is er een agenda?

Wat verkoopt degene die de claim maakt? Als claim en aanbod niet los van elkaar staan, moet je twijfelindicator direct dik in het rood uitslaan. Wie vraagt wat je kan doen aan de teruglopende verkopen krijgt van een reclamemaker een ander antwoord dan van een HR-specialist.

2. Is duidelijk waar de claim op is gebaseerd?

Wat ‘degelijk’ onderzoek is, is natuurlijk niet eenvoudig te beoordelen. Maar transparantie staat van alle criteria met stip op 1. Hoe meer er onder het tapijt wordt geschoven, hoe groter de kans op fabel-fabricatie. Ultiem voorbeeld: NPS zou de beste voorspeller zijn van groei. De data waarop deze claim was gebaseerd was natuurlijk ‘vertrouwelijk’, maar we moesten deze Bain & Company-adviseur maar op zijn blauwe ogen vertrouwen. Interessant feit overigens dat ondanks alle ontmaskeringen, bij menig bedrijf nog wordt aangenomen dat deze dwaze indicator voorspellende waarde heeft voor bedrijfsresultaat. Wel goed in de markt gezet, zullen we maar zeggen.

3. Hebben we het over gedrag of intenties?

U kent ze vast wel, die onderzoekjes waaruit blijkt dat millennials een eerlijke en duurzame wereld zo belangrijk vinden. Maar voordat u uw maatschappelijk rol als bedrijf gaat heroverwegen is het verstandig om ook even te kijken of die intenties zich vertalen naar daadwerkelijk gedrag. Dit is namelijk lang niet altijd het geval; een ‘attitude-behaviour gap’ wordt dat ook wel genoemd. Sentiment, attitudes, meningen en intenties, allemaal heel interessant. Maar als de gedrag-factor ontbreekt, gaat de Net Twijfel Indicator flink omhoog.

4. Wordt er een oorzakelijk verband gesuggereerd?

De moeder van alle business-vragen: wat leidt tot succes? Helaas is een oorzakelijk verband verrekte lastig om aan te tonen. Je zult echter diverse termen tegenkomen die een oorzaak-gevolgrelatie suggereren: het ene ‘voorspelt’ of ‘heeft invloed op’ of ‘leidt tot’ het ander. Maar in 99% van de gevallen zitten we gewoon naar ordinaire correlaties te kijken. Dat betekent dat het één het ander kan voorspellen, maar het ander ook het een. Of wellicht gaat het beide kanten op. Het meest waarschijnlijk is dat er een derde variabele zus & zo in het spel is die de relatie verklaart. Niet voor niets wordt in de wetenschap een experiment de ‘gouden standaard’ genoemd.

5. Is er vaker bewijs voor de claim gevonden?

Data = waarde. Tenminste, dat is ons met de paplepel ingegoten en daarom negeren we de rol van toeval. Maar laat 100 onderzoekers iets volledigs krankzinnigs onderzoeken en het lot bepaalt dat zo’n vijf onderzoekers een ‘statistisch significant’ resultaat vinden. Lang verhaal kort: één onderzoek is géen onderzoek.

6. Is de claim in lijn met bestaande kennis?

We doen al decennialang onderzoek naar van alles en nog wat. Als je nu iets vindt wat nog nooit gevonden is, is dat bij voorbaat verdacht en gaan de eisen voor degelijkheid van het bewijs ter plekke omhoog. Vandaar de bekende uitspraak ‘extraordinary claims require extraordinary evidence’.

7. Is de claim toepasbaar in een andere situatie?

U kent vast wel het jammetjes-experiment in een winkelcentrum, dat liet zien dat mensen geen keuze kunnen maken als het aanbod te groot is. Over die observatie is een heel boek geschreven. Maar vele studies die volgden lieten zien dat er óók situaties zijn waarin het effect er niet is of zelfs tegengesteld. Kortom, wat geldt voor de ene specifieke omstandigheid geldt, geldt mogelijk niet voor de andere. Zo is het ook voor producten, merken, branches en culturen. Generaliseerbaarheid noemen wetenschappers dit en het wordt nogal eens over het hoofd gezien.

De volgende keer dat u onder de indruk bent van een bewering, ongeacht of er een indrukwekkende hoeveelheid data achter zit, gebruik deze checklist eens. Ik acht de kans groot dat het u helpt een en ander in perspectief te plaatsen. Dat is ook hoog nodig, want de meeste statistieken die u tegenkomt zijn volstrekte onzin; 92.4% maar liefst, zo blijkt uit een recente studie.