MSA Drilldown: Controleer je Brongegevens voor je Begint met Meten

Een MSA Drilldown is een gestructureerde controle waarbij je brongegevens uit systemen vergelijkt met de operationele meetdefinitie, zodat je zeker weet dat je meet wat je denkt te meten voordat je conclusies trekt.

Waarom brongegevens niet vanzelf kloppen

In de praktijk werk je bij Lean Six Sigma projecten bijna altijd met gegevens die al ergens zijn vastgelegd: in een ERP-systeem, een Excel-sheet, een registratietool. De verleiding is groot om die data direct te gaan analyseren. Toch is dat een vergissing die ik regelmatig zie in projecten.

Systemen registreren wat mensen invoeren, en mensen voeren in wat zij denken dat correct is. Dat hoeft niet overeen te komen met wat jij als Lean Six Sigma projectleider wilt meten. Een doorlooptijd in een systeem begint misschien pas te lopen op het moment dat een medewerker een aanvraag oppakt, terwijl de klant al twee dagen eerder heeft gewacht. Een voorraadtelling in de computer weerspiegelt misschien een telling van drie weken geleden. Zonder dit te controleren bouw je je volledige analyse op een wankele basis.

De MSA Drilldown is de manier om dit risico te beheersen. MSA staat voor Meetsysteem Analyse, en de drilldown-variant richt zich specifiek op brongegevens in bestaande systemen.

Wat is het verschil tussen een MSA en een MSA Drilldown?

Een volledige Meetsysteem Analyse onderzoekt de betrouwbaarheid en herhaalbaarheid van een meetsysteem, bijvoorbeeld via een Gage R&R-studie. Dat is relevant als je werkt met meetapparatuur of beoordelingen door mensen.

Een MSA Drilldown is compacter en praktischer. Je gaat niet testen hoe consistent mensen meten, maar je controleert of de gegevens in een systeem overeenkomen met de operationele meetdefinitie die je voor je project hebt opgesteld. Het is een audit van je brondata, geen uitgebreide statistische studie.

In dienstverlening, waar veel Lean Six Sigma projecten plaatsvinden, is de MSA Drilldown vaker het juiste instrument dan een volledige Gage R&R.

De operationele meetdefinitie als vertrekpunt

Voordat je een MSA Drilldown kunt uitvoeren, moet je een operationele meetdefinitie hebben. Die beschrijft SMART wat je precies meet: wat telt als een fout, wanneer begint een doorlooptijd, wat valt wel en niet onder de scope.

Zonder die definitie weet je niet waartegen je je brondata afzet. De MSA Drilldown is dus altijd een vervolgstap op het opstellen van de operationele meetdefinitie.

Hoe voer je een MSA Drilldown uit

Stap 1: Breng de datatabellen in kaart

Begin met het in kaart brengen van de tabellen of systemen waaruit je data wilt halen. Denk aan een registratiesysteem, een export uit je ERP, een handmatig bijgehouden Excel-overzicht. Noteer per tabel wat er precies in staat en wie verantwoordelijk is voor de invoer.

Stap 2: Vraag per tabel naar de registratielogica

Ga in gesprek met de eigenaar of beheerder van elke tabel. Stel de vraag: wanneer wordt een record aangemaakt, wie voert het in, en op basis van welke informatie? Dit gesprek levert vaak al de eerste discrepanties op.

Stap 3: Vergelijk de registratielogica met je operationele meetdefinitie

Leg de antwoorden naast je operationele meetdefinitie. Komt de manier van registreren overeen met wat jij wilt meten? Beginpunt, eindpunt, scope, eenheden: controleer elk onderdeel apart.

Stap 4: Neem een steekproef en verifieer fysiek

Selecteer een beperkt aantal records, tien tot twintig is vaak voldoende, en verifieer deze fysiek of via een andere bron. Vergelijk de computerregistratie met de werkelijkheid op de werkvloer, in het dossier of bij de betrokken medewerker.

Stap 5: Oordeel en documenteer

Op basis van de steekproef stel je vast of de brondata acceptabel is voor gebruik in je project. Documenteer je bevindingen. Als de data niet voldoet, bepaal je of je de meting aanpast, de data handmatig corrigeert, of een alternatieve databron zoekt.

Twee voorbeelden uit de praktijk

Voorbeeld 1: Doorlooptijd in een dienstverlenend proces

In een project bij een financiële dienstverlener wilden we de doorlooptijd van aanvragen meten. Het systeem registreerde een starttijdstip, maar dat bleek het moment te zijn waarop een backoffice-medewerker de aanvraag opende, niet het moment dat de klant de aanvraag indiende. Het verschil bedroeg gemiddeld anderhalve dag. Zonder de MSA Drilldown hadden we de werkelijke doorlooptijd structureel onderschat.

Voorbeeld 2: Voorraad in een productieomgeving

Bij een productiebedrijf was de voorraad in het systeem bijgehouden op basis van geplande in- en uitstroom. Een fysieke telling van twintig referentienummers liet zien dat de werkelijke voorraad in bijna de helft van de gevallen afweek, soms met tientallen procenten. De data was onbruikbaar voor analyse zonder correctie.

Wanneer is de brondata goed genoeg?

Er is geen universele drempel, maar in de praktijk hanteer ik de vuistregel dat een discrepantie van meer dan tien procent tussen geregistreerde en werkelijke waarden een signaal is om de data niet zomaar te gebruiken. Belangrijker dan het percentage is de vraag of de afwijking systematisch is. Een systematische fout vervormt je analyse altijd in dezelfde richting en geeft een vertekend beeld van het probleem.

Wat als de data niet klopt?

Als de MSA Drilldown laat zien dat de brondata onvoldoende overeenkomt met de operationele meetdefinitie, heb je drie opties. Je past de operationele meetdefinitie aan zodat die aansluit bij wat het systeem wel betrouwbaar registreert. Je zorgt voor een verbeterd registratieproces en verzamelt daarna nieuwe data. Of je kiest voor een alternatieve databron, bijvoorbeeld door zelf metingen te doen via een steekproef op de werkvloer.

De keuze hangt af van de omvang van het project, de beschikbare tijd en de ernst van de afwijking.

MSA Drilldown in de Measure-fase

De MSA Drilldown is een van de eerste stappen in de Measure-fase van DMAIC. Je voert hem uit nadat je de operationele meetdefinitie hebt opgesteld en voordat je begint met het verzamelen en analyseren van meetgegevens. Hij geeft je de zekerheid dat de data waarmee je werkt een betrouwbare basis vormt voor de rest van je project.

Samenvatting

Een MSA Drilldown is een gestructureerde controle waarbij je brongegevens uit systemen vergelijkt met je operationele meetdefinitie. Je brengt de datatabellen in kaart, vraagt per tabel naar de registratielogica, vergelijkt die met je meetdefinitie en verifieert een steekproef van tien tot twintig records fysiek. Op basis daarvan oordeel je of de data betrouwbaar genoeg is om mee te werken. Is dat niet het geval, dan pas je de meetdefinitie aan, verbeter je het registratieproces of kies je een alternatieve databron.

Wil je leren hoe je de Measure-fase volledig en correct uitvoert? Bekijk dan de Lean Six Sigma Black Belt training.