Wat is Gage R&R?

Gage R&R staat voor Gage Repeatability and Reproducibility. Gage is het Engelse woord voor meetinstrument, R&R staat voor herhaalbaarheid (repeatability) en reproduceerbaarheid (reproducibility). De methode is onderdeel van de Meetsysteem Analyse (MSA) en wordt gebruikt om de precisie van een meetsysteem te beoordelen. Je berekent hoeveel van de totale variatie in je meetdata toe te schrijven is aan het meetsysteem, en hoeveel aan het proces zelf.

De methode bestaat in twee varianten: een versie voor continue data, waarbij je met een meetinstrument werkt, en een versie voor attributieve data, waarbij mensen objecten of situaties beoordelen en indelen in categorieën. Die tweede variant heet ook wel Attribute Agreement Analysis of de Kappa-methode. Welke je kiest hangt af van het type data in jouw Lean Six Sigma project.

Herhaalbaarheid en reproduceerbaarheid: wat is het verschil?

Herhaalbaarheid gaat over één persoon met één instrument. Krijg je dezelfde uitkomst als dezelfde medewerker hetzelfde object meerdere keren meet onder identieke omstandigheden? Als dat niet het geval is, zit de variatie in het meetinstrument zelf.

Reproduceerbaarheid gaat over meerdere mensen. Krijgen verschillende medewerkers dezelfde uitkomst als ze hetzelfde object meten met hetzelfde instrument? Als dat niet zo is, zit de variatie in de manier waarop mensen meten, in de operationele definitie, of in de training.

In de praktijk zie je beide problemen tegelijk. Een medewerker die inconsistent meet én collega’s die onderling van elkaar afwijken: dat zijn twee verschillende oorzaken die ook verschillende verbeteracties vragen.

Gage R&R voor continue data

De Gage R&R voor continue data gebruik je wanneer je met een meetinstrument werkt: een schuifmaat, een weegschaal, een thermometer, een tijdregistratiesysteem. De methode evalueert hoe groot de meetfoutvariatie is ten opzichte van de totale procesvariatie.

Hoe voer je de studie uit?

Je selecteert tien producten of objecten die een goede spreiding over het meetbereik vertegenwoordigen, inclusief waarden die net binnen en net buiten de specificatiegrens vallen. Drie medewerkers meten elk deze tien objecten drie keer, in willekeurige volgorde. Dat levert 90 datapunten op.

Twee aandachtspunten uit de praktijk. Ten eerste: de medewerkers mogen idealiter niet weten welk object ze op welk moment meten. Zodra ze dat weten, gaan ze onbewust consistenter meten dan ze normaal zouden doen. Ten tweede: de willekeurige volgorde is geen formaliteit. Als een medewerker steeds hetzelfde object achter elkaar meet, onthoudt hij de vorige uitkomst en past hij zijn meting daarop aan. Dat maskeert de echte herhaalbaarheid.

De uitkomsten analyseer je met de ANOVA-methode. In de praktijk doe je dat in een statistisch programma zoals Minitab, maar ook in Excel kun je een Gage R&R uitwerken met een template. De ANOVA-tabel die je als uitkomst krijgt, splitst de totale variatie op in drie bronnen: variatie door het instrument (herhaalbaarheid), variatie door de medewerkers (reproduceerbaarheid) en variatie tussen de objecten zelf. Die laatste wil je zo groot mogelijk zien ten opzichte van de eerste twee.

Hoe interpreteer je de uitkomsten?

De uitkomst van een Gage R&R voor continue data druk je uit als percentage van de totale procesvariatie of als percentage van de tolerantie. De AIAG hanteert hiervoor drie categorieën.

Een Gage R&R onder de 10% betekent dat het meetsysteem goed is en dat je betrouwbaar kunt meten. Tussen de 10% en 30% is het meetsysteem marginaal acceptabel: bruikbaar, maar verbetering is wenselijk. Boven de 30% is het meetsysteem onvoldoende. Je mag dan geen conclusies trekken op basis van deze data, want je weet niet meer wat je eigenlijk meet.

Naast het totaalpercentage kijk je ook naar de ANOVA-tabel. Die vertelt je of de variatie vooral komt van het instrument (herhaalbaarheid) of van de medewerkers (reproduceerbaarheid). Dat onderscheid bepaalt waar je de verbetering zoekt: bij het meetinstrument of bij de procedure en training.

Wat doe je als je meetsysteem voor continue data niet voldoet?

Een hoge meetfoutvariatie heeft altijd een oorzaak. De meest voorkomende zijn een meetinstrument dat onderhoud of kalibratie nodig heeft, een onduidelijke meetprocedure waardoor mensen op verschillende manieren meten, of omgevingsfactoren zoals temperatuurvariatie of trilling die de meting beïnvloeden.

Zorg altijd dat je de oorzaak aanpakt voordat je doorgaat met de nulmeting. Een verbeterd meetsysteem testen met een nieuwe Gage R&R is geen overkill, maar gewoon verstandig.

Gage R&R voor attributieve data

In dienstverlenende omgevingen is de mens het meetsysteem. Een medewerker die klachten registreert, een analist die dossiers beoordeelt, een kwaliteitscontroleur die producten goedkeurt of afkeurt: zij voegen allemaal meetvariatie toe. Voor dit type data, waarbij je objecten of situaties indeelt in categorieën in plaats van ze numeriek meet, gebruik je de Attribute Agreement Analysis, ook bekend als de Kappa-methode.

In mijn eigen praktijk zie ik dit regelmatig. Twee medewerkers beoordelen dezelfde klacht, maar registreren die onder een andere categorie. Niet omdat de klacht verschilt, maar omdat zij hem anders interpreteren. Dat is een reproduceerbaarheidsprobleem, maar dan met mensen als meetsysteem. Hetzelfde zie je bij auditors die een kwaliteitssysteem beoordelen, bijvoorbeeld op basis van ISO 9001 of NEN 7510. Twee auditors lopen hetzelfde proces door en komen tot verschillende bevindingen, niet omdat het proces verschilt, maar omdat zij de norm anders interpreteren. De ene auditor ziet een afwijking waar de andere een observatie noteert. Als je die beoordelingen niet ijkt, bouw je je verbeteranalyse op drijfzand.

Hoe voer je de studie uit?

Voor attributieve data heb je meer meetpunten nodig dan bij continue data. Je selecteert minimaal twintig objecten of casussen, bij voorkeur inclusief grensgevallen die niet meteen als goed of fout herkenbaar zijn. Drie medewerkers beoordelen elk deze twintig objecten drie keer, in willekeurige volgorde. Dat levert 180 beoordelingen op.

Bij het invullen van de analysetool geef je voor elk object een bekende standaardwaarde op, de referentie waartegen je de beoordelingen vergelijkt. Voor een ja/nee-beoordeling is dat eenvoudig. Voor meerdere categorieën is het van belang dat de referentie goed gedocumenteerd is en door een expert is vastgesteld.

Hoe interpreteer je de uitkomsten?

De uitkomst van een Attribute Agreement Analysis druk je uit als percentage effectieve overeenstemming. Boven de 90% zijn de beoordelaars consistent genoeg en is het meetsysteem acceptabel. Tussen de 80% en 90% is het systeem marginaal: de beoordelaars moeten hun beoordelingsproces verbeteren, bijvoorbeeld door de criteria te verduidelijken of extra te trainen. Onder de 80% is het meetsysteem onacceptabel. De beoordelingen zijn dan zo wisselvallig dat je er geen conclusies op kunt baseren.

Let bij de analyse op het verschil tussen de herhaalbaarheid per beoordelaar en de reproduceerbaarheid tussen beoordelaars. Een beoordelaar die intern consistent is maar sterk afwijkt van zijn collega’s wijst op een interpretatieverschil in de criteria. Iemand die intern inconsistent is, heeft training nodig of beoordeelt te snel.

Hoe verbeter je een meetsysteem voor attributieve data?

De oplossing zit zelden in het meetinstrument, maar bijna altijd in de mensen en de procedure. Wat ik in de praktijk heb toegepast: regelmatig samen de beoordelingscriteria doornemen, zodat iedereen dezelfde norm op dezelfde manier interpreteert. Daarna oefenen met concrete casussen en de uitkomsten met elkaar vergelijken. Waar zit het verschil? Waarom beoordeel jij dit als een afwijking en ik als een observatie? Die gesprekken leveren meer op dan je denkt. Een goed uitgewerkt definitieboek helpt daarbij als ankerpunt, zeker als er nieuwe beoordelaars bijkomen of als het team groot is.

Gage R&R als onderdeel van de Measure fase

Een Gage R&R voer je uit aan het begin van de Measure fase, voordat je data gaat verzamelen voor je nulmeting. Als je meetsysteem niet betrouwbaar is, heeft het geen zin om door te gaan. Je bouwt dan je hele analyse op een onbetrouwbaar fundament, en de verbeteroplossingen die daaruit volgen zijn dat ook.

De Gage R&R is geen formaliteit die je afvinkt voor je voortgangsrapportage. Het is de enige manier om zeker te weten dat de data die je straks analyseert de werkelijkheid weerspiegelt en niet de beperkingen van je meetsysteem.

Samenvatting

Gage R&R bepaalt hoeveel van de variatie in je data afkomstig is van het meetsysteem en niet van het proces. Voor continue data gebruik je de ANOVA-methode met drie medewerkers en tien objecten. Voor attributieve data gebruik je de Attribute Agreement Analysis met minimaal twintig objecten. Een meetsysteem is acceptabel als de meetfoutvariatie onder de 10% blijft voor continue data, of boven de 90% overeenstemming voor attributieve data. Voer de analyse altijd uit voor je nulmeting, niet erna.

In de online Lean Six Sigma Black Belt opleiding leer je hoe je een Gage R&R opzet, uitvoert en interpreteert op basis van echte projectdata. Bekijk de Lean Six Sigma Black Belt training.