Werken met steekproeven in Lean Six Sigma

Een steekproef is een selectie uit een grotere populatie waarmee je betrouwbare uitspraken doet over het geheel, zonder alles te hoeven meten. In Lean Six Sigma gebruik je steekproeven in de Measure-fase om procesdata te verzamelen als de volledige populatie te groot, te kostbaar of simpelweg niet beschikbaar is. De keuze voor de juiste steekproefmethode, de omvang en de manier van trekken bepalen of je steekproef representatief en betrouwbaar is. Bij continue data geldt een minimum van 30 meetpunten, bij discrete data 100. Boven de 1.000 à 2.000 observaties neemt de meeropbrengst sterk af. De grootste valkuil is niet een te kleine steekproef, maar een niet-representatieve, omdat je meet wanneer het rustig is, alleen systeemdata gebruikt of geen meetplan hebt gemaakt.

In de Measure-fase van een Lean Six Sigma-verbeterproject wil je weten hoe een proces werkelijk presteert op dit moment. Je meet bijvoorbeeld doorlooptijden en foutpercentages. Maar kun je altijd alle gegevens verzamelen? Zelden. De populatie is te groot, de tijd te beperkt of de kosten te hoog. En vaak wordt de data ook niet vastgelegd in systemen. Dat is precies de reden waarom je werkt met een steekproef: een zorgvuldig gekozen selectie waarmee je toch betrouwbare uitspraken kunt doen over het geheel.

Wat is een steekproef?

Een steekproef is een selectie van elementen uit een grotere populatie die je onderzoekt om conclusies te trekken over die populatie als geheel. Je meet niet alles, maar een representatief deel. Op basis van die steekproef maak je uitspraken over het hele proces.

Het woord steekproef komt overigens van het Duitse Stichprobe, dat oorspronkelijk werd gebruikt voor een monster uit vloeibaar metaal in een hoogoven of uit een ongeopende zak graan. Op de kaasmarkt zie je het nog letterlijk: de keurmeester steekt een kaasboor in de kaas om uit het midden een stukje te keuren. De kern is altijd hetzelfde: een klein deel vertelt je iets over het grote geheel.

Steekproef versus populatie

De populatie is de volledige groep waarover je een uitspraak wilt doen. Dat kan gaan om alle klanttelefoontjes die ooit binnenkomen, alle facturen die een proces doorlopen, of alle patiëntenopnames in een zorginstelling. In de praktijk is die populatie vaak zo groot dat je hem nooit volledig kunt meten. De steekproef is een selectie uit die populatie waarmee je toch uitspraken kunt doen over het geheel.

In de statistiek zie je bij de basisbegrippen het onderscheid ook terug in de notatie. Kengetallen van de populatie schrijf je met Griekse letters, zoals μ voor het gemiddelde en σ voor de standaarddeviatie. Kengetallen van de steekproef schrijf je met Latijnse letters, zoals x̄ en s. Dat verschil in notatie is geen formaliteit: het herinnert je eraan dat je met een schatting werkt, niet met de absolute waarheid.

Wanneer gebruik je een steekproef?

Je kiest voor een steekproef als het meten van de volledige populatie niet praktisch of niet wenselijk is. Dat is het geval in de volgende situaties.

De populatie is zo groot dat het ondoenlijk is om alle elementen te meten. Metingen zijn kostbaar, waardoor je het aantal bewust beperkt. Snelheid is vereist en je kunt niet wachten tot alle data beschikbaar is, of de data is simpelweg niet beschikbaar. Een globaal inzicht volstaat en een hoge nauwkeurigheid is niet vereist. Soms is meten destructief, zoals bij een kwaliteitskeuring waarbij een product wordt vernietigd.

In Lean Six Sigma-verbeterprojecten kom je dit laatste punt vaker tegen dan je zou verwachten. Denk aan een laboratoriumanalyse, een stresstest van een product of een tijdrovende handmatige controle. In die gevallen is een steekproef geen keuze maar een noodzaak.

Steekproefmethoden

Er zijn verschillende manieren om een steekproef te trekken. De keuze bepaalt in grote mate de validiteit van je analyse.

Het belangrijkste is dat dit random gebeurt. Alle variaties moeten voor kunnen komen. Als je bijvoorbeeld het gemiddelde salaris van alle Nederlanders wil weten, ga je niet alleen een steekproef doen in het Gooi en Bloemendaal.

Bij een aselecte steekproef heeft elk element uit de populatie een even grote kans om geselecteerd te worden. Dit is de meest betrouwbare methode en de basis voor inferentiële statistiek: je trekt conclusies over de populatie op grond van de steekproefresultaten. De kans op vertekening is klein zolang de selectie echt willekeurig is.

Bij een selecte steekproef worden de elementen niet op toevalsbasis gekozen. Je bepaalt zelf welke elementen worden meegenomen, op basis van criteria die je vooraf vaststelt. Dit is handig als je een specifieke subgroep wilt onderzoeken, maar het brengt het risico van bias met zich mee.

Bij een gestratificeerde steekproef verdeel je de populatie eerst in subgroepen, ook wel strata genoemd, op basis van een relevant kenmerk. Daarna trek je uit elk stratum willekeurig een steekproef. Dit gebruik je wanneer je weet dat de populatie op een bepaald kenmerk heterogeen is, en je wilt zeker zijn dat elke subgroep evenredig vertegenwoordigd is. Denk aan een zorginstelling die zowel patiënten uit de verpleegafdeling als uit de polikliniek wil meenemen in een onderzoek naar wachttijden.

Bij een systematische steekproef kies je elk n-de element uit een lijst. Als je elke tiende factuur controleert, of elke vijfde klantmelding, werk je systematisch. Dit is praktisch toepasbaar en eenvoudig uit te voeren, maar let op mogelijke patronen in je data die de selectie kunnen vertekenen.

Bij een clustersteekproef deel je de populatie in clusters in en onderzoek je een aantal clusters volledig. Dit is efficiënt als de populatie geografisch of organisatorisch verspreid is.

Wat maakt een steekproef representatief?

Een steekproef is representatief als ze de eigenschappen van de populatie zo goed mogelijk weerspiegelt. Dat klinkt vanzelfsprekend, maar in de praktijk gaat het regelmatig mis.

Stel dat je de doorlooptijd van klantvragen onderzoekt, maar je trekt je steekproef alleen uit de maand december. Dan mis je de seizoensvariatie die in andere maanden aanwezig is. Of je kijkt alleen naar meldingen die zijn afgehandeld, terwijl openstaande gevallen buiten beeld blijven. Dat is selectiebias: een systematische vertekening die je conclusies onbetrouwbaar maakt.

Een representatieve steekproef is willekeurig getrokken, onafhankelijk samengesteld en vrij van systematische uitsluiting van bepaalde groepen. Als je twijfelt of je steekproef representatief is, is dat op zichzelf al een signaal om de selectiemethode te herzien.

Hoe groot moet je steekproef zijn?

De omvang van de steekproef hangt af van twee factoren: de heterogeniteit van de populatie en de gewenste betrouwbaarheid. Hoe meer variatie er in de populatie zit, hoe groter de steekproef moet zijn om die variatie goed te vangen. En hoe hoger de betrouwbaarheid die je nastreeft, hoe meer meetpunten je nodig hebt.

Je kunt dit zelf ervaren. Zet 30 min of meer gelijke getallen in Excel en bereken het gemiddelde. Voeg daarna steeds een getal toe en kijk wat er met het gemiddelde gebeurt. Vrijwel niets. Dat is het principe van de afnemende meeropbrengst in de praktijk.

Als vuistregel geldt in Lean Six Sigma: bij continue data heb je minimaal 30 meetpunten nodig om betrouwbare uitspraken te doen over het gemiddelde, mits er niet al te veel variatie in de data zit. Bij discrete data heb je minimaal 100 meetpunten nodig, omdat je met tellingen en categorieën meer observaties nodig hebt om een betrouwbare schatting te maken van een percentage of aandeel.

Soms kom je de 30-300-regel tegen, die beide grenzen iets strenger stelt. Als de belangen groot zijn of je twijfelt, gebruik dan een steekproefcalculator om de exacte steekproefgrootte te berekenen.

Er is ook een bovengrens aan de meeropbrengst van meer meetpunten. Boven de 1.000 à 2.000 observaties neemt de winst in betrouwbaarheid sterk af. Meer meten kost dan meer tijd en geld dan het oplevert. Op dat punt is de kwaliteit van de steekproef, dus hoe je meet en wat je meet, belangrijker dan de hoeveelheid.

De exacte steekproefgrootte bereken je met een formule die verschilt voor continue data en discrete data.

Wat betekent betrouwbaarheid van een steekproef?

Betrouwbaarheid zegt niets over de kwaliteit van je data. Wat het zegt is dit: als je dezelfde steekproef 50 keer zou herhalen onder dezelfde omstandigheden, komen de uitkomsten dan steeds ongeveer overeen? Als dat zo is, is je steekproef betrouwbaar. Een betrouwbare steekproef geeft bij herhaling vergelijkbare resultaten.

Dat is iets anders dan een correcte of representatieve steekproef. Je kunt een betrouwbare steekproef hebben die structureel de verkeerde groep meet. Daarom is betrouwbaarheid een noodzakelijke maar niet voldoende voorwaarde voor een goede meting.

In de praktijk gebruik ik soms een shortcut als er weinig data beschikbaar is. Ik neem dan vier steekproeven van elk 12 meetpunten en zet de gemiddelden en standaarddeviaties naast elkaar. Als die niet veel van elkaar verschillen, beschouw ik de steekproef als betrouwbaar. Let wel op in welke omgeving je deze shortcut toepast: bij sterk variërende processen of hoge belangen is deze aanpak niet voldoende.

Centrale limietstelling: waarom steekproeven werken

Steekproeven werken dankzij een fundamenteel statistisch principe: de centrale limietstelling. Stel dat je een proces hebt waarvan de data helemaal niet normaal verdeeld is, bijvoorbeeld doorlooptijden die scheef verdeeld zijn. Als je uit die populatie steeds opnieuw een steekproef trekt en telkens het gemiddelde berekent, dan zullen die gemiddelden wel normaal verdeeld zijn. Hoe vaker je dat doet, hoe duidelijker die normaalverdeling zichtbaar wordt.

Dat is precies waarom steekproeven werken. Je hoeft de onderliggende verdeling van de populatie niet te kennen. Zolang je steekproef groot genoeg is, gedragen de gemiddelden zich voorspelbaar. Bij continue data is n groter dan 30 daarvoor in de meeste gevallen voldoende. Dit principe is de statistische onderbouwing achter vrijwel alle analyses in de Measure-fase van DMAIC.

Valkuilen bij steekproeven

De meest voorkomende fout is het trekken van een niet-representatieve steekproef zonder dat je je daarvan bewust bent. Een paar situaties die ik in de praktijk regelmatig zie.

Geen meetplan maken. Zonder meetplan weet je niet wat je meet, waarom je het meet en hoe je het meet. Je gaat gewoon meten en hoopt dat er iets uitkomt. Dat is een recept voor ruis.

Te veel willen meten. In een verbeterproject gaat het om de Y en de mogelijke X-en die daarmee samenhangen. Niet om alles wat je kunt meten. Hoe meer je meet buiten die scope, hoe meer tijd je verliest en hoe groter de kans dat je afdwaalt van het eigenlijke probleem.

Het data-deel niet leuk vinden. Dit klinkt herkenbaar voor veel projectleiders. Het meten en verzamelen van data voelt traag en weinig concreet. Maar zonder goede data heb je geen basis voor je analyse. Dit is het deel waar je doorheen moet.

Meten wanneer het rustig is. Een klassieke fout. Je meet op momenten dat het proces goed loopt, terwijl de problemen zich juist voordoen in drukke perioden of bij specifieke medewerkers. Je steekproef is dan niet representatief voor de werkelijkheid die je wilt begrijpen.

Te veel vertrouwen op data uit systemen. Systeemdata is handig maar niet altijd volledig. Handmatige registraties, uitzonderingen en afwijkende gevallen staan er zelden in. Als je alleen meet wat het systeem je geeft, mis je een deel van het verhaal.

Een andere valkuil is dat projectleiders te lang blijven hangen aan het verzamelen van data. Ze willen zeker zijn voordat ze verder gaan, maar die zekerheid bestaat niet. Een steekproef is per definitie een schatting. Op een gegeven moment moet je de knoop doorhakken en werken met wat je hebt. Durf de shortcut te nemen, zolang je de keuzes die je maakt vastlegt in je meetplan zodat ze controleerbaar zijn.

Steekproeven in de Measure-fase

Steekproeven horen structureel thuis in de Measure-fase van DMAIC. Nadat je het meetplan hebt opgesteld via de RUMBA-methode en de meetniveaus hebt bepaald, is de volgende vraag altijd: ga ik de volledige populatie meten of werk ik met een steekproef?

In de meeste projecten is het antwoord: een steekproef. De data is niet volledig beschikbaar, de meting kost tijd, of de populatie is te groot om volledig te bemeten. Door de steekproef zorgvuldig te plannen, de juiste methode te kiezen en de grootte correct te berekenen, zorg je ervoor dat je in de Analyse-fase kunt werken met betrouwbare data.

In mijn eigen projecten start ik altijd met een korte haalbaarheidscheck: is de data überhaupt te verzamelen, en zo ja, voor welke periode en bij welke processtap? Die vragen bepalen de steekproefmethode meer dan welk theoretisch model dan ook.

Samenvatting

Een steekproef is een selectie uit een grotere populatie waarmee je betrouwbare uitspraken doet over het geheel, zonder alles te hoeven meten. In Lean Six Sigma gebruik je steekproeven in de Measure-fase om procesdata te verzamelen als de volledige populatie te groot, te kostbaar of simpelweg niet beschikbaar is. De keuze voor de juiste steekproefmethode, de omvang en de manier van trekken bepalen of je steekproef representatief en betrouwbaar is. Bij continue data geldt een minimum van 30 meetpunten, bij discrete data 100. Boven de 1.000 à 2.000 observaties neemt de meeropbrengst sterk af. De grootste valkuil is niet een te kleine steekproef, maar een niet-representatieve, omdat je meet wanneer het rustig is, alleen systeemdata gebruikt of geen meetplan hebt gemaakt.

Wil je leren hoe je steekproeven correct toepast in een echt verbeterproject? In de online Lean Six Sigma Black Belt training werk je met echte data, kies je de juiste steekproefmethode en bereken je de steekproefgrootte op basis van je eigen processen.