9.
DE LIJSTEN*
* Algemeen Beschaafd Statistiek
Statistieken: een hoop cijfers op zoek naar een argument.
G. Burgy
De vorige hoofdstukken wekken de indruk dat de wereld bol staat van slechte statistieken of misleidende presentaties ervan. Dat is ook zo. Hopelijk ben je wat kritischer gaan kijken naar gegevens. Als dat zo is, dan is mijn doel bereikt. Je hebt nu een gezonde paranoïde geest ontwikkeld voor cijfers en statistieken. Misschien zie je nu opeens overal percentages, gemiddelden en grafieken. Hoe complexer de wereld om ons heen, des te vaker nemen we onze toevlucht in de statistiek. We willen die complexe wereld begrijpen en gebeurtenissen kunnen plaatsen. Gelukkig is er veel dat wel door de beugel kan. Je moet alleen het kaf van het koren weten te scheiden en daar is dit hoofdstuk voor bedoeld. Dit laatste hoofdstuk is een samenvatting van het boek en bestaat uit lijsten die als handvat kunnen dienen voor de interpretatie van statistieken. Ik besef dat het onmogelijk is om per statistische vraag hele lijsten door te nemen. Daarom zijn ze kort. In veel gevallen zou ik vooral niet kiezen voor een grondige analyse van cijfers want een krantje lezen moet ook leuk blijven.
1. De woordenlijst
Populatie
Bij statistiek is de populatie het onderwerp van onderzoek. Belangrijk is dat de populatie de groep is waarover je wat wilt zeggen, of dat nou pubers, stroopwafels, auto’s of wasmiddelen zijn. Het kan gaan om een kleine populatie (alle 17 kinderen met het Marshall-Smith syndroom) of een grote (alle 16,5 miljoen Nederlanders). Meestal is de populatie te groot om in zijn geheel aan een onderzoek te onderwerpen en wordt uit de populatie een steekproef genomen.
Steekproef
Omdat de populatie vaak te groot is om alle leden in het onderzoek te betrekken, is een selectie of steekproef nodig. Belangrijk is dat de steekproef groot genoeg is en dat deze representatief is voor de te onderzoeken populatie.
Representatief
Een steekproef is representatief als de subjecten (mensen of voorwerpen) een afspiegeling zijn van de te onderzoeken populatie. In de praktijk blijkt het erg lastig en soms onmogelijk om een echt representatieve steekproef te nemen. Hoe kleiner de populatie, des te makkelijker dit wordt.
Significant
Als een stijging of daling significant is, kan redelijkerwijs worden aangenomen dat een gevonden verschil niet aan het toeval kan worden toegeschreven. Er zijn verschillende statistische methodes die dit kunnen vaststellen. Statistisch gezien kun je bepalen of iets significant is als de steekproef groot genoeg is en representatief voor de populatie die wordt onderzocht.
Betrouwbaarheidsinterval
Het betrouwbaarheidsinterval bepaalt de zekerheid waarmee we een gevonden verschil significant kunnen noemen. Zo betekent een interval van 95 % dat we met 95 % zekerheid kunnen aannemen dat het verschil niet aan toeval kan worden toegewezen. Met andere woorden: de kans dat het hier om toeval gaat is zo klein, namelijk minder dan vijf procent, dat we het kunnen uitsluiten.
Generaliseren
Als bij een onderzoek gebruik is gemaakt van een representatieve steekproef die groot genoeg was, kunnen gevonden significante verschillen worden vertaald naar de gehele populatie. Je mag dan aannemen dat het gevonden verschil ook geldt voor de hele populatie. Een veel voorkomende fout is die van de overhaaste generalisatie. Daarbij wordt op basis van een kleine en niet representatieve steekproef iets geroepen over een hele andere en veel grotere groep.
2. De cijferlijst
Met deze lijst kun je gemakkelijk en snel nagaan of het gepresenteerde cijfer gebaseerd is op juiste technieken. Goede statistiek is een cijfer dat:
• geen gok of schatting is
• gebaseerd is op een goede, heldere en meetbare definitie
• tot stand is gekomen met een duidelijke en transparante onderzoeksmethode
• voortkomt uit een onderzoeksgroep die aansluit bij het onderzochte onderwerp
• voortkomt uit een onderzoeksgroep die groot genoeg is
• een juiste generalisatie is die aansluit bij de onderzochte groep
• niet op zichzelf staat en waarbij de andere cijfers ook beschikbaar zijn
3. De vragenlijst
Regelmatig presenteren makers en gebruikers van statistieken het gevonden resultaat met uiteenlopende superlatieven. We moeten vooral niet denken dat het gaat over onbenulligheden. Soms komen de getoonde cijfers ook best alarmerend over. Om te bepalen of je nou echt onder de indruk moet zijn van een boodschap, hoef je jezelf eigenlijk maar één vraag te stellen: “Is dat nou echt zo veel/schokkend/erg/weinig/enzovoort?”. Neem even de tijd om cijfers, achterliggende bronnen en methodiek te bestuderen. Zeker als een bepaald cijfer of onderzoek er voor jou toe doet. Onderstaande, niet uitputtende vragenlijst helpt om te bepalen wat de werkelijke waarde is van de aangeboden cijfers.
Wie gaf de opdracht voor dit onderzoek
Een onderzoek is altijd uitgevoerd met een bepaald doel. Misschien dient het een maatschappelijk of strategisch belang of gaat het om een effectmeting. Wat de reden ook is, geen enkel onderzoek is puur informatief. Stel jezelf dus de vraag welk belang de opdrachtgever heeft bij de gepresenteerde resultaten.
Wie voerde het onderzoek uit
Naast de opdrachtgever is het natuurlijk belangrijk om te weten wie het onderzoek heeft uitgevoerd. Vaak leidt dat antwoord je naar de volgende vraag. Als het bijvoorbeeld gaat om een onderzoeksbureau dat uitsluitend via internet werkt, zoek dan op welke groep precies is onderzocht.
Wie brengt de boodschap
Degene die de resultaten presenteert, bepaalt wat er wordt getoond en is verantwoordelijk voor de toelichting. Voor het geven van een toelichting, zetten makers en gebruikers tegenwoordig vaak (zelfbenoemd) experts in. Welke boodschapper de onderzoeksresultaten ook presenteert: luister kritisch.
Wat is nu precies onderzocht
Welke definitie werd gehanteerd bij het onderzoek? Zijn er wellicht meerdere definities mogelijk en zou dat een effect hebben gehad op de resultaten?
Hoe werd het onderzoek uitgevoerd
Welke onderzoekstechniek werd toegepast: een observatie, een vragenlijst – via papier of internet, mondelinge of schriftelijke interviews? De manier waarop een onderzoek is uitgevoerd zegt veel over de resultaten. Een percentage gevonden via een kleine internetpoll zegt veel minder dan data die afkomstig zijn van een representatieve steekproef waarbij gebruik is gemaakt van een grootschalig uitgezette vragenlijst.
Waaruit bestond de onderzoeksgroep
In hoofdstuk één, de inleiding, kwam het belang van de samenstelling en grootte van de onderzoeksgroep al aan de orde. Het is die groep die bepaalt welke resultaten eruit komen, hoe betrouwbaar die resultaten zijn, hoeveel het er zijn, enzovoorts. Een open deur, maar daarom niet minder belangrijk.
Welke onderzoeksresultaten krijgen we niet te horen
Een onderzoek resulteert zelden in één of twee resultaten. Er moet meestal een keuze worden gemaakt. Een belangrijke vraag is daarom: welke resultaten hebben het uiteindelijk niet gehaald en met welke reden? Waren ze niet interessant genoeg of spraken ze soms het gepresenteerde tegen?
Draai de resultaten eens om
Heb je twijfels over de uitleg van de resultaten? Dan is het omdraaien van de conclusie of de redenatie een nuttige tip. Stel dat een reorganisatie wordt verantwoord door te stellen dat 62% het er mee eens is. Vraag dan door over die 38% die het er blijkbaar niet mee eens is.
Komen de resultaten uit hetzelfde onderzoek
Het is niet ongebruikelijk om resultaten te vergelijken met bevindingen uit het verleden. Niet zelden worden hierbij cijfers gebruikt uit andere onderzoeken. Daarbij is het natuurlijk maar de vraag in hoeverre deze resultaten zijn te vergelijken.
In welke context wordt het gegeven gepresenteerd
Waar en hoe worden de resultaten gepresenteerd? Het maakt nogal uit of ze in een krant staan, een sales-presentatie, een reclameboodschap, een jaarverslag of andere publicatie. De context bepaalt in grote mate de uitleg en daarmee ook de interpretatie van gegevens.
Wat is de titel boven het artikel
Afhankelijk van het doel van de boodschap bepaalt de boodschapper hoe de resultaten onder de aandacht moeten worden gebracht. Een pakkende titel kan daarbij helpen, maar ook sturen. De titel zegt iets over de boodschap die moet worden overgebracht.
Waarom juist deze grafiek met deze gegevens
In hoofdstuk acht over grafieken is beschreven dat grafieken vrijwel altijd worden gebruikt om meerdere gegevens bij elkaar in een bepaalde context te zetten. De keuze voor een bepaalde grafiek is dus nooit toevallig. Een goede grafiek trekt in één klap de aandacht, maakt de boodschap duidelijk en interpreteert de gegevens. Let bij grafieken ook goed op eventuele titels en subtitels.
4. De reclamelijst
Ter afsluiting enkele wervende en onzinnige uitspraken die ik zoal tegenkwam:
• Enkele fondsen hebben de prognose significant overtroffen
• Bevat weinig calorieën
• 70 % puur fruit
• Blokkeert 99 % van de vrije radicalen
• Collageenproductie neemt met 130 % toe
• 100 % vruchtsap
• 80 % minder vet en calorieën
• 10 % meer inhoud
• Lekkerder getest
• Deze verpakking draagt bij aan een beter milieu
• De autoverzekering van de Postbank is tweehonderd euro goedkoper
Tips & Tricks
Statistiek is van A tot Z mensenwerk. Mensen bepalen wat en hoe er wordt onderzocht. Mensen voeren het onderzoek uit. Het interpreteren van de uitkomsten van statistische berekeningen gebeurt door mensen. Het zijn mensen die bedenken welke resultaten ze presenteren en hoe. Ten slotte zijn het ook mensen die de resultaten lezen.
Mocht je van dit boekje één ding onthouden, kies dan voor het volgende:
Elk gepresenteerd cijfer is een bewuste keuze!