Was ist Attribute Agreement Analysis? Attribut analyse?

O'PEEP'S ERKLÄRUNG:
ATTRIBUTIVE ÜBEREINSTIMMUNGSANALYSE

Muss das Bad geputzt werden, ja oder nein? Für Dich sieht es blitzsauber aus. (also nicht putzen!) Aber Dein Partner oder Deine Partnerin sieht das anders: "Das Bad ist ekelhaft, Schatz!" (Putzen? Ja!). Du willst etwas messen, das nicht wirklich durch einen Messwert zu erfassen ist. Du musst zu Ergebnissen wie "ja"/"nein" oder "super sauber"/"ekelhaft" kommen. Wie gut Dein Messsystem funktioniert, sagt Dir eine Attributive Übereinstimmungsanalyse.

Die attributive Übereinstimmungsanalyse ist eine Gage R&R-Studie für diskrete Daten.

WANN SOLLTEST DU MIT DER ATTRIBUTIVEN ÜBEREINSTIMMUNGSANALYSE ARBEITEN?

Arbeite mit der attributiven Übereinstimmungsanalyse, wenn Du eine Messsystemanalyse (Gage R&R) durchführen willst, die zu NICHT durch Messinstrumente messbaren Ergebnissen führt. Du benötigst sie, wenn die Ergebnisse qualitativ sind:

BEISPIELE:

Visuelle Qualitätskontrolle von Teilen
Prüfung, ob die Reinigung gut durchgeführt wurde
Prüfung, ob ein Dokument verständlich ist

VORAUSSETZUNGEN:

Die Kriterien für die Beurteilung sind definierbar, z.B. durch eine Expertenmeinung oder durch Arbeiten unter optimalen Bedingungen. Für eine Bauteil-Prüfung, die beispielsweise besonders Konzentration und ein sehr gutes Sehvermögen erfordert, wird die Prüfung von einem zuverlässigen Sachverständigen durchgeführt, nachdem er oder sie eine Pause gemacht hat und ausgeruht ist.
Um mit der attributiven Übereinstimmungsanalyse zu arbeiten, musst Du einen Standard festlegen können.

SCHRITT-FÜR-SCHRITT-ANSATZ, UM ZU PROBEN ZU GELANGEN

Nehme Teile, die für den Prozess repräsentativ sind (normalerweise 30 Teile). In unserem Beispiel wäre es der Zustand des Badezimmers an 30 Tagen. Diese Teile müssen gute und schlechte Proben (Zustände) enthalten.
Hole eine Expertenbewertung oder eine Best-Case-Bewertung der Teile ein und definiere einen "Standard", z.B. durch die schwäbische, unvoreingenommene Nachbarin.
Lasse alle Teile von einem Gutachter oder einer Gutachterin bewerten.
Wiederholbarkeit: Wiederhole Schritt 3 mit demselben Bewertenden (wobei die Teile in zufälliger Reihenfolge angeordnet werden, damit der Bewertende "blind" bleibt) mindestens einmal, besser zweimal.
Reproduzierbarkeit: Lasse einen zweiten (und dritten) Bewertenden die Schritte 3 und 4 wiederholen. Werden die Messungen nur von einer Person und einem Gerät durchgeführt, muss die Reproduzierbarkeit aus der Studie ausgeklammert werden.
Analyse

ANALYSE

Was musst Du herausfinden? Genauigkeit oder Präzision? Reproduzierbarkeit oder Wiederholbarkeit?

BERECHNE GENAUIGKEIT

Mache Dir klar, inwieweit Dein Messsystem zu denselben Ergebnissen wie Dein "Standard" führt.

BERECHNE %R&R (PRÄZISION)

Es drückt aus, wie genau Deine verschiedenen Beurteilenden in ihren Ergebnissen übereinstimmen und wie genau ein und derselbe Beurteilende bei mehrfacher Messung zu denselben Ergebnissen kommt.

Gesamt %R&R beschreibt den Grad der Übereinstimmung innerhalb/zwischen Beurteilenden und einem Standard (falls vorhanden).
Gesamt %R&R muss 100 % betragen (das klingt sehr hoch, aber da es hier nur 30 Teile gibt und die Studienbedingungen von der Realität abweichen, führt jedes Ergebnis unter 100 % zu einem Messsystem, dem man nicht trauen kann).
Liegt der Gesamtprozentwert unter 100 %, untersuche die Ergebnisse, um festzustellen, ob es sich um ein Problem der Wiederholbarkeit, der Reproduzierbarkeit oder um beides handelt.

BEISPIEL

O'Peep möchte herausfinden, wie gut seine Abteilung für Qualitätskontrolle den Geschmack seines berühmten O'Gin beurteilt. Er möchte wissen, ob die Gutachtenden in seiner Qualitätskontrolle den gleichen exquisiten Geschmackssinn haben wie er. Das gibt ihm die Accuracy.
Außerdem möchte er wissen, wie es um die Präzision in seiner Qualitätskontrolle bestellt ist.

Also nimmt er 3 seiner Gutachtenden und lässt sie 30 Proben dreimal testen. Um uns die Arbeit zu erleichtern, hat er ein ausgeklügeltes System zur Bewertung des Gin entwickelt:
"Sehr gut", "Okay" oder "Sehr schlecht".
Er trägt die von den drei Gutachtenden abgegebenen Bewertungen in diese Tabelle ein, um sie leicht mit der Norm vergleichen zu können:

Daraus leitet er die folgenden Ergebnisse ab und berechnet die Genauigkeit und Präzision:

GENAUIGKEIT

PRÄZISION

Bei der Verwendung eines statistischen Tools zur Durchführung eines Gage R&R-Tests stellt er fest, dass die Parameter Reproduzierbarkeit und Wiederholbarkeit nicht zu 100 % erfüllt sind. Dies zeigt einen deutlichen Mangel an Präzision bei den Gutachtern.

O'Appraiser 2 zum Beispiel bewertete in den drei Versuchen nur 17 von 30 Proben richtig. Und alle stimmten nur bei 12 Proben zu 100 % überein.

Du möchtest mehr über Präzision und Gage R&R erfahren? Klicke hier

ANZAHL DER KORREKTEN BEURTEILUNGEN IM VERGLEICH ZUM STANDARD

FAZIT

Ist O'Peep mit einer Genauigkeit von 90% zufrieden, wenn es darum geht, den Geschmack seines Gins zu beurteilen? Gut genug hängt immer davon ab, was man erreichen will.

Auch wenn eine Genauigkeit von über 90% recht gut zu sein scheint, zeigt der völlige Mangel an Präzision, dass diese 90% nicht vertrauenswürdig sind und dass weitere Maßnahmen erforderlich sind, um die Leistung der Bewertenden zu verbessern. Dies kann durch Schulungen und durch klarere Leitlinien für die Bewertung von Gin geschehen.

Attributive Übereinstimmungsanalyse