Stap I – De selectie

De onderzoeksgroep moet vanzelfsprekend goed zijn samengesteld. Dat lijkt makkelijker dan het is. Stel, ik ben een statisticus en ik moet antwoord vinden op de vraag of de gemiddelde Nederlander vindt dat voedingsmethode X of Y werkt. Stel vervolgens, dat ik de alweer uit de mode geraakte methode van Sonja Bakker kies. Gezien de beschikbare tijd en de samenstelling van mijn vriendenkring, is het niet mogelijk om mijn vragen op een grote groep af te vuren. Noodgedwongen moet ik voor mijn onderzoek gebruikmaken van de steekproef. Een steekproef is een selectie uit een totale groep met het doel bepaalde eigenschappen van die totale groep te meten.

De steekproef moet representatief zijn

Een steekproef moet representatief zijn voor de groep die wordt onderzocht. Als ik wil weten wat de gemiddelde Nederlander van de Sonja Bakkermethode vindt, moet de groep ondervraagden dus een dwarsdoorsnede vormen van de Nederlandse samenleving. In de steekproef moeten percentueel gezien evenveel mannen, vrouwen, jongeren en alle andere groepen zitten als in het landelijke percentage. Voor de juiste verhoudingen van al deze groepen maken onderzoekers meestal gebruik van cijfers van het Centraal Bureau voor de Statistiek (CBS). Het CBS heeft keurige staatjes met daarin het aantal vrouwen, mannen, jongeren, ouderen, drugsverslaafden, allochtonen, veehouders, autobezitters, enzovoorts.

Een volledig representatieve steekproef is vanzelfsprekend om praktische redenen niet altijd haalbaar. Misschien zijn er groepen die ik kan uitsluiten van deelname. Als ik alleen wil weten wat vrouwen van Sonja Bakker vinden, hoef ik geen mannen te vragen. Moet ik alleen mensen vragen die een dieet volgen? Vriend of onbekende? Speelt leeftijd een rol? Moet ik rekening houden met iemands sociaaleconomische of religieuze achtergrond? Dat zijn veel vragen voor een onderzoekje naar de werking van een dieet. Hoe gaan professionele onderzoekers daarmee om? Die laten bijvoorbeeld de antwoorden van groepen die zijn ondervertegenwoordigd in het onderzoek zwaarder meewegen in de eindconclusie. Als er opeens een bejaarde Surinaamse vrouw meedoet, zijn haar antwoorden representatief voor een grote groep vergelijkbare mensen. Het wordt pas echt lastig als uitspraken moeten worden gedaan over een groep die moeilijk is te definiëren of te tellen. Denk bijvoorbeeld aan illegalen, drugsverslaafden of zwevende kiezers.

Seize does matter – een kleine of grote steekproef

Voor mijn dieetonderzoek richt ik me noodgedwongen op een kleine subset van de totale populatie van dieetvolgers. In mijn omgeving vind ik vijf vrouwen en vijf mannen die op dat moment eten volgens Sonja Bakkerrichtlijnen. Om er een goed samengestelde steekproef van te maken, stel ik daarnaast dezelfde vraag aan tien mannen en vrouwen die zich in het geheel niet met voedingsadviezen bezig houden. Ik vraag aan alle twintig proefpersonen of zij vinden dat het voedingsadvies van Sonja Bakker werkt.

Hoe klein mag een goede steekproef zijn? De steekproef in het volgende voorbeeld van een advertentie voor antirimpelcrème van Garnier in een damesblad is opvallend klein.

* Bron: Eén van de vele antirimpelcrèmes van Garnier.

Deze steekproef is zo klein, dat je op basis van het onderzoek onmogelijk iets zinnigs kunt concluderen over de werking van de crème. Het moge duidelijk zijn dat een beetje onderzoeksbureau niet wegkomt met dit soort extreem kleine steekproeven. Kleine steekproeven kunnen best goed zijn, zolang ze maar representatief zijn voor de groep waar het om gaat. Een kleine, representatieve steekproef is dus nog altijd beter dan een grote, niet-representatieve steekproef.

Wat is nou precies het probleem met een te kleine steekproef? Stel, je leest dat 68% van de studenten een bijbaan heeft (de Volkskrant, 5 oktober 2010). De kans is klein dat 68% het werkelijke percentage is. Alleen als je iedereen die behoort tot de studentenpopulatie in Nederland ondervraagt, weet je immers wat het werkelijke percentage is. Je kunt wel een schatting doen. Het werkelijke percentage ligt waarschijnlijk ergens tussen de 64 % en 72 %. In de statistiek noemen ze deze bandbreedte de foutmarge. Over het algemeen kan je stellen dat de foutmarge kleiner is wanneer de steekproef groter is. Als je maar heel weinig mensen vraagt naar hun mening over wapenbezit, loop je de kans dat er toevallig allemaal wapenliefhebbers bijzitten. De outmarge is een stuk groter bij onderzoek onder een kleine groep. Misschien ligt het percentage bij heel weinig mensen zelfs wel tussen de 58 % en 78 %. Op basis van dit soort grote foutmarges kunnen dus geen uitspraken worden gedaan over de mening van de Nederlandse student. De uitkomsten van een te kleine steekproef zijn onbetrouwbaar, oftewel nutteloos.

Hoe groot moet een serieuze steekproef dan wel zijn? Dat hangt af van de totale grootte van de groep waarover je iets wilt roepen. Geloof het of niet, maar op een totaal van 16,5 miljoen Nederlanders is het gebruikelijk om een steekproef van ongeveer duizend mensen te nemen. Ondanks het feit dat dit slechts 0,01 % van het totaal aantal Nederlanders is, kijkt niemand raar op als je zo’n kleine groep gebruikt om iets over de Nederlander te zeggen.

Onderzoekbureaus werken vaak met panels. Net zoals in de tijd waarin mijn opa meedeed aan onderzoek, bestaan die panels ook nu nog uit deelnemers die zich vrijwillig hebben opgegeven voor uiteenlopende enquêtes. Bijna alle onderzoekbureaus laten op hun website keurig zien hoeveel panelleden zij hebben. Dat zijn vaak aanzienlijke aantallen maar dat zegt helaas weinig over de kwaliteit van het onderzoek. Een goed bureau zoekt net zo lang door totdat er duizend mensen zijn gevonden die aan het onderzoek mee willen doen. Vaak lukt dit niet. Er vallen altijd weer mensen af. Dat kan zijn omdat ze een specifiek criterium missen, een incomplete vragenlijst inleveren of een vragenlijst verdacht invullen. Bijvoorbeeld als ze overal “heel goed” aanklikken. Onderzoekers beginnen dan ook vaak met 1500 panelleden in de hoop dat er niet te veel afvallen. Is dit wel het geval, dan begint men zelden opnieuw. De overgebleven groep proefpersonen bepaalt dan het resultaat van het onderzoek.

Voor het aantonen van resultaten wordt die uitgedunde groep vaak ook nog onderverdeeld in categorieën waar de onderzoekers afzonderlijk iets over willen zeggen. Denk aan het illustere onderscheid tussen man en vrouw of jong en oud. Die resultaten kunnen dan makkelijk tot boude uitspraken leiden, zoals het geval was in Trouw van 7 januari 2009. In een aparte bijlage met de kop De staat van het recht stelt de krant dat onder de aanhang van de Partij voor de Vrijheid (PVV) en Trots op Nederland (ToN) een meerderheid is te vinden voor herinvoering van de doodstraf in Nederland. Respectievelijk 69 en 61 %. Dat klinkt zo op het eerste gehoor als een luide roep om de doodstraf. Wat was echter het geval? In opdracht van Trouw had TNS NIPO aan 1096 mensen vragen gesteld over de rechtstaat in Nederland. Het onderzoekbureau vroeg daarnaast aan deze groep op wie zij ging stemmen als er op dat moment verkiezingen zouden zijn geweest. Voor 359 mensen of 33 % van de ondervraagden kon geen partij worden genoteerd. Van de 1096 ondervraagden – statistisch gezien een acceptabel aantal - gaven slechts 67 mensen aan op de PVV te willen stemmen en niet meer dan zestig op ToN. Binnen die twee groepen was in totaal een meerderheid van minimaal zestig mensen voor herinvoering van de doodstraf. De formulering was dus niet fout, maar schetste een vertekend beeld.

We hebben dus weinig aan sweeping statements op basis van de mening van een kleine subgroep. Toch horen en geloven we ze graag. Zeker als het ‘nieuws’ lekker spannend wordt gebracht. Dat is best raar. Van bijna alle producten die we tegenwoordig kopen, willen we tot in detail weten hoe ze zijn samengesteld. Zodra het om onderzoeksresultaten gaat, nemen we alles klakkeloos aan. Eén onderzoeksresultaat, gevonden bij nog geen achthonderd mensen, kan al leiden tot het schrappen van banen, het sluiten van winkels, nieuwe bezuinigingen, langer doorwerken, het opsluiten van mensen en ga zo maar door.

Figuur 4: Zelfgemaakte trechterfiguur. Bron gegevens: TNS NIPO onderzoek uit 2008 over de rechtstaat in Nederland.

Eerder zagen we dat statistici een steekproef van duizend personen betrouwbaar vinden voor uitspraken over de gemiddelde Nederlander. Waar ligt de grens voor een steekproef onder een subgroep van Nederlanders? Ook die grens hangt af van de grootte van de groep waarover een uitspraak moet worden gedaan. Als voorbeeld haal ik een onderzoek aan waarover het inmiddels failliete dagblad DAG in juni 2008 publiceerde. De kop boven het artikel roept: “We zijn niet uit onze auto te krijgen”. Die kop wekt de indruk dat het gaat om een onderzoek onder alle Nederlanders. Het onderzoek waar in het artikel aan wordt gerefereerd, gaat echter over de spitservaringen van de werkende Nederlander. De steekproefpopulatie bestond op haar beurt uit vijfhonded voltijd werkende mensen. Aan hen stelde De Hond vragen over de dagelijkse trip naar het werk. Volgens het CBS werkten er in 2007 ongeveer 4,5 miljoen mensen tussen de vijftien en 65 jaar voltijd. Het is de vraag of vijfhonded deelnemers representatief zijn voor een totale groep van 4,5 miljoen mensen. We zagen al dat het knap lastig is om met duizend mensen een representatieve steekproef samen te stellen. Met vijfhonded is dat bijna onmogelijk. Daar komt bij dat ook in dit onderzoek sprake is van het trechtereffect uit figuur vier hierboven. De onderzoeksgroep valt uiteen in kleinere groepjes. Zo staat het overgrote deel van de ondervraagden, namelijk 65 %, af en toe of zelfs nooit in de file. De restgroep filerijders van negentien procent wordt vervolgens gelijkgesteld aan alle filerijders in Nederland. Om het gestuntel of de stemmingmakerij compleet te maken, lees je in het betreffende artikel niets over de aantallen achter de percentages.

Juist als het gaat om uitgesproken conclusies, is het belangrijk dat consumenten doorhebben om welke groep het precies gaat. Slaan de klinkende woorden op de totale groep of slechts op een subgroep daarvan? Hoe klein is die subgroep dan wel niet? Het antwoord op die vragen heeft veel invloed op het gewicht van de conclusie.

Zwijgen is goud – iemand die geen mening heeft, telt ook

Een veelvoorkomend probleem bij peilingen is de groep zwijgers. Er is altijd een groep ondervraagden die één of meerdere vragen niet beantwoordt, of kiest voor “neutraal”, “geen mening” of “weet niet”. Jammer voor de onderzoekers, maar niet iedereen heeft overal een mening over. Deze groep kan het de onderzoekers wel knap lastig maken en de resultaten danig verstoren. Weglaten van “geen mening” of “weet niet” is voor serieuze onderzoekers geen optie. Het verstorende effect is lastig te meten omdat deze groep per vraag weer anders van samenstelling kan zijn. Gevaarlijker nog zijn de mensen die geen mening hebben of het echt niet weten, maar om wat voor reden dan ook toch een antwoord kiezen. Mensen vinden het nu eenmaal niet leuk om continu aan te geven dat ze iets niet weten.

Dagblad DAG liet bij de presentatie van het eerder genoemde onderzoek naar ‘onze’ spitservaringen niet zien hoe groot de groep zwijgers, neutralen of meninglozen was. Zo kan de indruk ontstaan dat iedere ondervraagde persoon een mening had over het onderwerp. Ik snap best dat het niet sexy overkomt om bij elk gepresenteerd percentage het aantal zwijgers te vermelden, maar het geeft wel een beter beeld van de kwaliteit van de antwoorden. De zwijgers maken de onderzoeksgroep alleen maar kleiner want ze maken de hals in de trechter een stuk smaller. We hebben eerder al gezien dat hoe kleiner de onderzoeksgroep is, des te groter de foutmarge is.

Stap 2 – De boodschap

Ik schiet weer even terug in mijn rol van statisticus die een dieetmethode onderzoekt. Op de vraag of de Sonja Bakkermethode werkt, geeft geen van de vijf geselecteerde vrouwen een direct antwoord. Wel omschrijven ze uitvoerig het dieet, de moeite die ze hebben met het volhouden en het aantal kilo’s dat ze al of niet kwijt zijn. Drie van de geselecteerde Sonja Bakkermannen antwoorden: “Ja”. Eén ontkent bezig te zijn met diëten, ondanks het feit dat zijn vriendin aangeeft dat hij hier wel degelijk mee bezig is. Eén geeft aan dat de methode bij hem niet werkt. De vrouwen en mannen die niet aan Sonja Bakker doen, zeggen alle tien dat het niet werkt. Wat kan ik concluderen aan het einde van dit onderzoekje? Dat 50 % van de vrouwen zelden direct antwoord geeft, dat de Sonja Bakkermethode niet werkt, of juist wel? De steekproef was in ieder geval te klein voor uitspraken over de mening van de gemiddelde Nederlander, zelfs al zou je hem tamelijk representatief kunnen noemen. Al met al is het een knap lastige oefening om een steekproef samen te stellen.

Het komt in het echt vaak voor dat uiteenlopende conclusies kunnen worden getrokken op basis van dezelfde onderzoeksresultaten. In mei 2008 dook op Gezondheidsnet en BNR radio een vrij alarmerend bericht op: “Nederlandse meisjes vinden zichzelf te dik voor bikini”. Deze uitspraak werd gebaseerd op een onderzoek van de website www.fancy.nl bij vrouwelijke bezoekers tussen de veertien en achttien jaar. De onderzoeksresultaten waarop de conclusie is gebaseerd, zeggen echter niets. We weten namelijk niet of alle bezoekers van de site meisjes zijn tussen de veertien en achttien jaar. Wie weet zitten er wat verlegen, puberende jongens tussen die smachten naar kennis over het vrouwelijk geslacht. Zij vinden het misschien heel verhelderend om Fancy te lezen of stemmen vrolijk mee. In het officiële persbericht van Ilseedia Group, uitgever van Fancy en bijhorende website, staat niets over de samenstelling van de onderzoeksgroep. Welke leeftijd hadden de vrouwen die meededen aan het onderzoek? Werd de vragenlijst meerdere keren door dezelfde dame ingevuld? Waar kwamen de (eventuele) dames vandaan? Hoeveel vrouwen vonden zichzelf te dik? Met andere woorden: een onzeker groepje puberende websitebezoekers is gelijkgesteld aan alle Nederlandse meiden. De even zinloze conclusie had net zo goed kunnen luiden: “Nederlandse meiden blij met hun figuur!”. Slechts 35 % van de bezoekers had immers aangegeven eerst te willen afvallen, alvorens een bikini aan te trekken. Los van het feit dat we niet weten hoeveel meisjes 35 % in dit geval is, vind ik de overige 65 % pas echt het melden waard. Het is dus maar net met welk doel je over dit zogenaamde onderzoek schrijft. Belangrijk is dat het hier om een internetpoll ging. Dat is een onofficiële peiling waaraan iedereen kan meedoen.e ziet ze steeds vaker opduiken op verschillende websites. Bekende voorbeelden zijn nupoll.nl en stand.nl. Meestal is het één stelling waar je in maximaal vier antwoorden je mening over kwijt kunt. Ik durf hier de stelling wel aan dat je geen enkele gefundeerde uitspraak kunt doen op basis van de resultaten van dit soort enquêtes. Ook al reageren vijfduizend mensen en kom je daarmee ruimschoots boven de gewenste steekproefgrootte, je heb geen idee wie er heeft gereageerd. Je kunt hooguit melden, dat een bepaald percentage van de bezoekers van de site op één van de antwoorden heeft geklikt. Natuurlijk is dat iets heel anders dan de uitkomst gelijk te stellen aan “wat Nederland van iets vindt”. Toch maakt de NOS dagelijks een heel uur radio over dergelijke thema’s. De naam standpunt NL doet in ieder geval vermoeden dat de NOS denkt dat ze de mening van alle Nederlanders kan vatten door een paar mensen via radio en internet te laten reageren. Ik wil De Telegraaf op deze plek niet vergeten. Die berichtte dat vrouwen graag willen dat mannen vaker een bos bloemen voor ze meebrengen (Telegraaf.nl, 30 augustus 2010). Ik kreeg het bericht een keer of zes getwittert. Het ging om hot news. Ook hier bleek de bron een internetpoll te zijn die een dag op de site Telegraaf.nl/vrouw had gestaan. De resultaten van een dergelijk diepgravend onderzoek verdienen nu eenmaal de voorpagina van ’s lands meest populaire krant.

De steekproef moet een goede afspiegeling of ‘generalisatie’ zijn

Bij het uitvoeren van een steekproef kunnen veel problemen de kop opsteken, zo blijkt uit voorgaande voorbeelden. Als het onderzoek is afgerond, moet een conclusie worden getrokken. Ook dat is een uitdaging. De boodschap die je meegeeft aan een onderzoekresultaat, kun je namelijk manipuleren. Daarom vermelden serieuze onderzoekers op z’n minst de samenstelling van hun onderzoeksgroep bij de resultaten. Als je als consument niet weet hoe een onderzoeksgroep is samengesteld, kan de gebruiker jou van alles op de mouw spelden. De resultaten van een steekproef mogen alleen worden vertaald naar de populatie waar de steekproef een afspiegeling van is. In de statistiek wordt deze vertaling naar de grotere groep generalisatie genoemd. Zonder te weten uit wie de onderzoeksgroep bestond, ben je als consument volledig overgeleverd aan de generalisatie die de gebruiker van de statistiek kiest. Dat kan een hele andere generalisatie zijn dan is gebruikt voor het onderzoek. Het is opvallend dat deze informatie vaak ontbreekt.

Het verkeerd generaliseren van cijfers gebeurt vaak niet door de makers, maar door de gebruikers. Een sappig geformuleerde generalisatie levert de krant een leuk artikel op, voorziet het beleidsstuk van een politicus van een gunstige onderbouwing en staaft de zwaarwegende keuze van een manager. Slechte generalisaties zijn echter gebouwd op drijfzand en kunnen aanleiding geven tot verkeerde keuzes en stigmatisering.

Niet alleen gebruikers zijn debet aan te makkelijke generalisaties, ook makers kunnen er goed mee scoren. Persberichten die de onderzoeksbureaus zelf uitbrengen, worden vaak klakkeloos overgenomen door derden. Als daarin misleidende generalisaties staan, kunnen die vervolgens op allerlei plaatsen opduiken en gaan ze een eigen leven leiden. Zo presenteerde onderzoekbureau Multiscope op 12 maart 2008 een persbericht met de titel “Nederlander positief over eigen geluk”. Dat bleek uit een online onderzoek onder 2800 Multiscope panelleden. Dit onderzoekbureau maakt uitsluitend gebruik van vaste panels voor zijn onderzoeken. Via onder andere de Volkskrant kwam het nieuws over Nederlanders en geluk tot ons in een artikel met de kop “Glas is voor meeste Nederlanders halfvol”. Dat het bij dit soort onderzoek om de Nederlander gaat, is onzin. Nederlanders die niet online gaan, was niets gevraagd over hun geluksbeleving. Het is bovendien nog maar de vraag of ongelukkige mensen staan te springen om proactief lid te zijn van een onderzoekspanel.

De laatste jaren vindt dit soort onderzoeken vooral plaats door middel van online vragenlijsten. Die zijn snel en goedkoop. In 2006 werd door de Markt Onderzoek Associatie (MOA) het Nederlands Online Panel Vergelijkings Onderzoek (MOPVO) gedaan. In dit onderzoek werden negentien online panels met elkaar vergeleken. Dat leverde onder andere de volgende gegevens op:

Om eens mee te maken hoe online enquêteren in z’n werk gaat, ben ik zelf lid geworden van zo’n panel. Ik ontving vragenlijsten over werkelijk bijna alles. Al snel vroeg ik me af of ik wel de algemene mening vertegenwoordig. Wat zegt mijn mening over aambeien of de uitbreiding van de Europese Unie? Ik – en hoogstwaarschijnlijk ook de rest van het panel – beschik over internet en email. Daar maak ik veelvuldig gebruik van. Ook zitten er kennelijk mensen in een panel die het allemaal leuk vinden om van tijd tot tijd een vragenlijstje in te vullen. Het is dan ook niet verbazingwekkend dat uit eerder genoemd MOPVO onderzoek naar voren kwam, dat sommige groepen in dit soort panels onderbelicht zijn. Nietwesterse allochtonen ontbreken bijvoorbeeld volledig en er zitten maar weinig kerkgangers tussen. De zogenaamde heavy internet users zijn vanzelfsprekend oververtegenwoordigd.

Het werken met panels levert dus niet voor alle groepen een representatieve steekproef op. Hoe bereik je een meer divers publiek? Als je mensen in de avonduren gaat bellen, mis je de groep die ’s avonds liever gewoon eet of naar het nieuws kijkt. Als je winkelend publiek op straat aanspreekt, mis je weer de werkende mensen. Er zijn helaas altijd wel groepen die je niet kunt bereiken voor je onderzoek. Met andere woorden: het is vrijwel onmogelijk om een goede onderzoeksgroep samen te stellen. Wees daarom op je hoede bij het generaliseren van resultaten naar een grote groep. De Nederlander bestaat niet.