Meetsysteem analyse (MSA): hoe betrouwbaar is jouw data?

In een Lean Six Sigma project werk je op basis van data. Maar data is alleen bruikbaar als het meetsysteem dat je gebruikt betrouwbaar is. Meetsysteem analyse, afgekort MSA, helpt je vaststellen of de data die je verzamelt representatief is voor wat er werkelijk in het proces gebeurt. Zonder een betrouwbaar meetsysteem trek je conclusies op basis van meetruis in plaats van procesprestatie.

In dit artikel leg ik uit wat MSA inhoudt, welke eisen een betrouwbaar meetsysteem stelt en hoe je dit in de praktijk toepast, ook als de mens het meetsysteem is.

Waarom meten altijd variatie introduceert

In theorie levert een perfect meetsysteem bij elke herhaalde meting exact hetzelfde resultaat. In de praktijk is dat nooit zo. De variatie die je meet is altijd een combinatie van twee bronnen: de werkelijke procesvariatie en de variatie die het meetproces zelf introduceert. Dat tweede deel noemen we meetfout.

Het doel van MSA is om die meetfout zo klein mogelijk te maken, zodat de data die je gebruikt voor analyse en verbetering een betrouwbaar beeld geeft van het proces.

Twee soorten meetfouten: juistheid en precisie

Meetfouten vallen uiteen in twee categorieën.

Juistheid (accuracy)

Juistheid gaat over de vraag of je meet wat je bedoelt te meten. Een meetsysteem is accuraat als er geen consistent verschil is tussen de gemeten waarde en de werkelijke waarde. Dat verschil heet bias. Je bepaalt de juistheid door een referentiewaarde een aantal keren te meten en het gemiddelde meetresultaat te vergelijken met de bekende werkelijke waarde.

Precisie (precision)

Precisie gaat over de spreiding in je metingen. Het zijn meetfouten die niet altijd op dezelfde manier optreden en die daardoor variatie toevoegen aan je meetresultaten. Precisie valt uiteen in twee componenten.

Herhaalbaarheid (repeatability) is de meetvariatie die ontstaat wanneer één persoon hetzelfde object meerdere keren meet onder identieke omstandigheden met hetzelfde meetinstrument. Deze variatie komt uit het meetinstrument zelf.

Reproduceerbaarheid (reproducibility) is de meetvariatie die ontstaat wanneer meerdere personen hetzelfde object meten, of wanneer metingen worden uitgevoerd onder verschillende omstandigheden. Deze variatie wordt veroorzaakt door onbeheersbare verschillen in het meetsysteem. Samen vormen herhaalbaarheid en reproduceerbaarheid de basis van de Gage R&R analyse.

Zes eisen voor een betrouwbaar meetsysteem

Een betrouwbaar meetsysteem moet aan zes eisen voldoen.

Accuraat: de afwijking tussen de gemeten gemiddelde waarde en een referentiewaarde is minimaal.

Herhaalbaar: wanneer dezelfde persoon hetzelfde object meerdere keren meet met hetzelfde instrument, zijn de uitkomsten consistent.

Reproduceerbaar: wanneer verschillende personen hetzelfde object meten met hetzelfde instrument, zijn de uitkomsten onderling consistent.

Stabiel: de meetresultaten zijn consistent over een langere periode. Een meetsysteem dat vandaag goed presteert maar over drie maanden afwijkt, is niet stabiel.

Lineair: de afwijking (bias) verandert niet significant over het werkbereik van het meetinstrument. Een weegschaal die bij lichte objecten nauwkeurig is maar bij zware objecten systematisch te hoog meet, is niet lineair.

Onderscheidend: het meetsysteem is in staat kleine verschillen tussen objecten te detecteren. Dit onderscheidingsvermogen heet ook wel de resolutie van het meetsysteem.

Rule of Tens: vuistregel voor resolutie

Een goede vuistregel is de Rule of Tens. Die stelt dat je meetsysteem minimaal tien meetstappen moet hebben binnen de specificatiebreedte of de procesvariatie die je wilt waarnemen. Is dat niet het geval, dan is je meetsysteem te grof en mis je echte verschillen in het proces.

Een concreet voorbeeld: stel dat je een proces meet dat tussen de 9 en 10 minuten moet worden afgerond. De variatie die je wilt waarnemen is 1 minuut. Volgens de Rule of Tens kies je dan een meetsysteem met stappen van maximaal 0,1 minuut. Meet je in hele minuten, dan zie je de variatie simpelweg niet.

Een klassieke valkuil is afronden. Data die wordt afgerond naar hele eenheden verliest resolutie, ook als het meetinstrument zelf fijner kan meten. Een slechte resolutie is ook een reden om een Gage R&R-studie uit te voeren, omdat je anders niet kunt uitsluiten dat de variatie in je data uit het meetsysteem komt in plaats van uit het proces.

Meetsysteem analyse in dienstverlenende omgevingende omgevingen

In productieomgevingen is het meetsysteem vaak een instrument: een schuifmaat, een weegschaal, een thermometer. In dienstverlenende omgevingen is de mens het meetsysteem. Een medewerker die klachten registreert, een analist die meetgegevens verzamelt, een beoordelaar die dossiers scoort: zij voegen allemaal meetvariatie toe.

In mijn eigen praktijk zie ik dit regelmatig. Twee medewerkers die dezelfde klacht beoordelen, registreren die soms onder een andere foutcode. De klacht is hetzelfde, maar de registratie verschilt. Dat is reproduceerbaarheid als probleem, maar dan met mensen als meetsysteem.

Voor dit type data, waarbij je objecten classificeert of beoordeelt in plaats van meet, gebruik je de Kappa-methode in plaats van Gage R&R. De Kappa-coëfficiënt geeft aan in hoeverre beoordelaars het onderling eens zijn over de indeling van een object, gemeten op basis van de meetniveaus van die data. Een Kappa van 0,8 of hoger geldt als acceptabel.

Wanneer is een meetsysteem acceptabel?

Voor continue data geldt als vuistregel dat de meetfoutvariatie niet meer dan 10% van de totale procesvariatie mag bedragen. Ligt die waarde tussen 10% en 30%, dan is verbetering wenselijk maar is het meetsysteem nog bruikbaar. Boven de 30% is het meetsysteem onvoldoende betrouwbaar om conclusies op te baseren.

Voor attributieve data geldt dat de overeenstemming tussen beoordelaars onderling en met een referentie minstens 80% moet zijn.

MSA als startpunt van de Measure fase

Een MSA voer je uit aan het begin van de Measure fase van DMAIC, voordat je data gaat verzamelen voor je nulmeting. Als je meetsysteem niet betrouwbaar is, heeft het geen zin om door te gaan met meten. Je bouwt dan je hele analyse op een onbetrouwbaar fundament.

De MSA staat niet op zichzelf. Ze maakt deel uit van een bredere aanpak waarbij je ook een meetplan opstelt en je operationele meetdefinities vastlegt. De MSA is de kwaliteitscheck op dat geheel: je valideert het meetsysteem voordat je er conclusies op baseert.

Het uitvoeren van een MSA is geen overbodige formaliteit. Het is de eerste kwaliteitscheck op je data, en daarmee op alles wat daaruit volgt.

Samenvatting

MSA bepaalt of de variatie die je meet echt van het proces komt of van het meetsysteem zelf. Een betrouwbaar meetsysteem is accuraat, herhaalbaar, reproduceerbaar, stabiel, lineair en onderscheidend. In dienstverlenende omgevingen is de mens vaak het meetsysteem. Gebruik dan de Kappa-methode voor attributieve data en Gage R&R voor continue data. Voer de MSA altijd uit aan het begin van de Measure fase, voor je nulmeting.

Wil je leren hoe je een MSA uitvoert in een verbeterproject? Bekijk de Lean Six Sigma Green Belt training of Black Belt training en oefen met echte procesdata.