Wie man eine Inter - Rater -Abkommen Berechnen

Ein Inter-Rater Vereinbarung ist ein Maß dafür, wie konsistente Messungen sind zwischen zwei oder mehr Beobachter (oder " Rater "). Zum Beispiel medizinische Forscher verwenden oft eine Gruppe von Ärzten zu beobachten und zu kategorisieren die Auswirkungen einer Behandlung Experiment . Die Messung der Konsistenz zwischen den Beobachtern ist wichtig, weil wir sicher sein, dass die Auswirkungen sehen wir aufgrund unserer Experiment und nicht auf große Unterschiede zwischen den Beobachtern suchen . Der primäre Statistik verwendet, um Inter-Rater Vereinbarung zu messen ist " Kappa ". Anleitung
1

Prozent Zustimmung , indem die Anzahl der Beobachtungen , die über die Gesamtzahl der Beobachtungen stimmen berechnen . Nehmen wir das Beispiel eines Experiments mit 100 Patienten, die eine Behandlung von Asthma. Zwei Ärzte sind gefragt , um die Patienten in zwei Kategorien einordnen : kontrollierte (ja) oder nicht kontrolliert (no) Asthma-Symptome. Die Ergebnisse könnte wie folgt aussehen :

Beide Rater Ja 70

Beide Rater No 15

Rater # 1 Ja /Rater Nr. 2 Nr. 10

Rater # 1 Nein /Rater # 2 Ja 5

Gesamt Beobachtungen : 100

in diesem Beispiel würde die prozentuale Übereinstimmung (Pa) die Anzahl der Beobachtungen , in denen die Rater einverstanden (70 +15 sein ) , geteilt durch die Gesamt Beobachtungen ( 100) , oder 85 Prozent. Dies wird in den Zähler in der letzten Gleichung verwendet werden.
2

die erwartete Einigung Berechnen durch Zufall . Einige der beobachteten Vereinbarung wird durch reines Glück sein. Wir können berechnen, wie viel Vereinbarung gesehen werden würde , wenn die Beobachtungen waren völlig zufällig

In unserem Beispiel : .

Sowohl Ja 70

Sowohl No 15

# 1Yes /# 2 Nr. 10

# 1 Nein /# 2 Ja 5

Gesamt Beobachtungen : 100

Dr. # 1 bewertet Ja : 80/100 oder 80 Prozent der Zeit ( 0,80 ) .

Dr. # 1 bewertet Nr. 20/100 oder 20 Prozent der Zeit ( 0,20 ) .

Dr. # 2 bewertet Ja : 75/100 oder 75 Prozent der Zeit ( 0,75 ) .

Dr. # 2 bewertet Nr. 25 /100 oder 25 Prozent der Zeit ( 0,25 ) .

Wenn die Beobachtungen waren zufällig, würde die Wahrscheinlichkeit sowohl Bewertung Ja ( 0,80 ) x ( 0,75 ) zu sein, oder 60 Prozent , und die Wahrscheinlichkeit der beiden Bewertungen Keine würde ( 0,15 ) x ( 0,25 ) oder 4 Prozent

die Gesamtwahrscheinlichkeit des Vertrages wegen Chance ( Pe) würde die Summe von diesen sein. : ( .60 ) + ( .04 ) oder 64 Prozent. Dies wird im Zähler und im Nenner der letzten Gleichung mit Hilfe der folgenden Gleichung verwendet werden
3

berechnen Kappa : .

K = ( Pa) - (Pe )

---------------

1 - ( Pe)

In unserem Beispiel

k = ( 0,85 ) - ( 0,64 ) /1 - ( 0,64 ) = ( 0,58 ) oder 58 Prozent
4

Bewerten kappa zu bestimmen, ob inter-Rater Vereinbarung ist stark. Eine gute Faustregel ist, dass über 80 Prozent Kappas sind ausgezeichnet, und über 60 Prozent sind gut. Alles unter 60 Prozent gilt als nicht optimal Vereinbarung .

In unserem Beispiel ist 58 Prozent an der Grenze des guten Interrater-Reliabilität und Studienergebnisse sollten in diesem Sinne interpretiert werden.
< Br > 5

kappa für mehr als zwei Rater Bewerten mithilfe Fleiss ' kappa- Berechnungen. Dies ist eine viel kompliziertere Berechnung, die durch den Computer durchgeführt werden sollte .