Hoeveel respondenten heeft u nodig? Het eerlijke antwoord duurt vijf minuten.

Het is de meest gestelde vraag in de briefingfase, en meestal de eerste. Hoeveel mensen moeten we ondervragen?
Het antwoord dat u wilt horen is een getal. Het antwoord dat klopt is een wedervraag. Hieronder allebei, eerst de rekenkunde, dan de reden waarom die rekenkunde zelden de bindende factor is.

De rekenkunde

Bij een aselecte steekproef en een uitkomst rond de 50% hoort deze foutmarge, bij 95% betrouwbaarheid:

| Steekproef | | Foutmarge |

| n = 100 | > | ± 9,8 procentpunt |

| n = 200 | > | ± 6,9 procentpunt |

| n = 400 | > | ± 4,9 procentpunt |

| n = 600 | > | ± 4,0 procentpunt |

| n = 1.000 | > | ± 3,1 procentpunt |

| n = 2.000 | > | ± 2,2 procentpunt |

| n = 4.000 | > | ± 1,5 procentpunt |

Twee dingen vallen op:

De curve vlakt af. Van 100 naar 400 halveert uw foutmarge ongeveer. Van 1.000 naar 4.000 , viermaal het veldwerkbudget, wint u nog geen anderhalve procentpunt. Nauwkeurigheid schaalt met de wortel van n, en dat is een harde grens. Wie zijn steekproef verdubbelt in de hoop de meting twee keer zo scherp te krijgen, betaalt voor een verbetering van ongeveer 30%.

Bij extreme percentages wordt het gunstiger. De tabel hierboven geldt voor uitkomsten rond de 50%, het ongunstigste geval. Meet u iets dat rond de 10% ligt, dan is de foutmarge bij n=400 ongeveer ±2,9 procentpunt in plaats van ±4,9. Voor merkbekendheid van een kleine speler is een bescheiden steekproef dus vaak preciezer dan de tabel suggereert.

En let op de andere kant van diezelfde munt: bij lage percentages is de relatieve onzekerheid juist groot. Meet u 4% penetratie met een marge van ±1,9 punt, dan ligt de werkelijkheid ergens tussen de 2% en 6%. Dat is een factor drie. Voor een groeidoelstelling is dat onbruikbaar.

Waarom dit meestal niet de bindende factor is

In de praktijk wordt uw steekproefomvang zelden bepaald door de totale foutmarge. Hij wordt bepaald door de ‘kleinste groep waarover u een uitspraak wilt doen‘.

Een voorbeeld dat ik vaak tegenkom. De briefing zegt n=500, budget rond. Dan volgt tijdens de opzet: “en we willen het natuurlijk kunnen uitsplitsen naar regio, leeftijdsgroep en of ze wel of geen klant zijn.”

Drie regio’s, drie leeftijdsgroepen, twee klantgroepen: dat zijn achttien cellen. Bij n=500 zitten daar gemiddeld 28 respondenten in, en dat is het gemiddelde, dus sommige cellen tellen er twaalf. Op die cellen kunt u niets toetsen. U kunt ze niet eens fatsoenlijk beschrijven.

Als vuistregel hanteren wij minimaal n=100 per subgroep waarover u iets wilt zeggen, en liever n=150 als u er verschillen tussen wilt toetsen. Reken terug: achttien cellen van 100 vraagt om n=1.800, of om het schrappen van uitsplitsingen.

Die keuze, welke uitsplitsingen zijn het waard om voor te betalen, is de eigenlijke ontwerpbeslissing. Niet het totaalgetal.

De vraag die vooraf gaat aan het getal

Voordat er een steekproefomvang uitrolt, moeten drie dingen vaststaan:

1. Welk verschil wilt u kunnen aantonen? Wilt u een verschuiving van vijf punten kunnen zien, of van twee? Dat verschil bepaalt het benodigde vermogen van uw meting, en het scheelt een factor in de omvang. Wie dit niet vooraf bepaalt, ontdekt achteraf dat de meting het effect niet kón vinden.
   
2. Hoe vaak meet u? Een tracker met vier golven van n=400 geeft u per golf een ruwe meting, maar over een jaar een stabiele trendlijn — en trends zijn robuuster dan losse punten. Eén meting van n=1.600 geeft u een scherp beeld van één moment en geen enkele beweging. Dat is een andere afweging dan alleen nauwkeurigheid.
   
3. Hoe zuiver is uw steekproef? Dit is het punt waar de formules stilzwijgend van uitgaan dat u een aselecte trekking heeft, en waar dat vrijwel nooit waar is. Een panelsteekproef is geen aselecte steekproef uit de Nederlandse bevolking; het is een steekproef uit mensen die zich hebben aangemeld en die tijd hadden. Bij een lastig bereikbare doelgroep of een scheve respons is een grotere steekproef geen oplossing, die vergroot alleen de precisie waarmee u de verkeerde groep meet. Meer respondenten repareren geen vertekening, ze bevestigen hem strakker.

Dus: welk getal?

Voor een landelijke consumentenmeting zonder zware uitsplitsingen is n=400 tot n=600 doorgaans een verdedigbaar startpunt. Wilt u subgroepen vergelijken, dan rekent u vanaf de kleinste cel terug. Meet u een categorie met lage penetratie, dan gaat u eerder omhoog, of u screent gerichter met een boost.

Maar het echte antwoord is dit: het getal is een uitkomst, geen uitgangspunt. Wie begint met “we hebben budget voor n=500, wat kunnen we daarmee?” krijgt een ander en meestal beter onderzoek dan wie begint met een getal uit een eerdere offerte.

Wij rekenen dat aan het begin van elk project met u door: welk verschil u moet kunnen aantonen, welke uitsplitsingen het waard zijn, en wat dat kost. Ook als de uitkomst is dat uw vraag binnen uw budget niet betrouwbaar te beantwoorden valt. Dan zeggen we dat liever vooraf dan achteraf.

Dat is bewerkelijker dan een sterretje zetten. Het levert wel iets op wat u aan uw directie kunt uitleggen en wat standhoudt als iemand doorvraagt.

Zit u met een steekproefvraag? Leg hem vrijblijvend voor. U spreekt meteen de onderzoeker die het zou ontwerpen.