Analyzing interrater agreement for categorical data using Cohen's kappa and alternative coefficients;Analyse der beurteilerübereinstimmung für kategoriale daten mittels Cohens kappa und alternativer maße

Rehabilitation

Volumn 46, Issue 6, 2007, Pages 370-377

  Wirtz, Markus ^a   Kutschmann, M ^b  

^a UNIVERSITY OF EDUCATION FREIBURG   (Germany)

^b BIELEFELD UNIVERSITY   (Germany)

Author keywords

Cohen's kappa; Interrater agreement; Measures of concordance; Odds ratio; Weighted Cohen's kappa; Yules Y

Indexed keywords

ARTICLE; HUMAN; INFORMATION PROCESSING; MATHEMATICAL COMPUTING; OBSERVER VARIATION; OUTCOME ASSESSMENT; REHABILITATION; REPRODUCIBILITY; STATISTICS;

DATA COLLECTION; HUMANS; MATHEMATICAL COMPUTING; OBSERVER VARIATION; OUTCOME ASSESSMENT (HEALTH CARE); REHABILITATION; REPRODUCIBILITY OF RESULTS;

EID: 38049097807     PISSN: 00343536     EISSN: None     Source Type: Journal    
DOI: 10.1055/s-2007-976535     Document Type: Article

References (17)

1. Bortz J, Döring N. Forschungsmethoden und Evaluation 3. Aufl. Berlin: Springer, 2001
2. Vogel H, Lemisz W, Liebeck H, Palm W. Zur Bewertung des Gutachterverfahrens für die ambulante Verhaltenstherapie durch die Gutachterinnen. Verhaltenstherapie 2002; 12: 228-231
3. Wirtz M. Bestimmung der Güte von Beurteilereinschä tzungen mittels der Intraklassenkorrelation und Verbesserung von Beurteilereinschätzungen. Rehabilitation 2004; 43: 384-389
4. Wirtz M, Caspar F. Beurteilerübereinstimmung und Beurteilerreliabilität. Göttingen: Hogrefe, 2002
5. Cichetti DV. Guidelines, criteria, and rules of thumb for evaluating normed and standardized assessment instruments in psychology. Psychological Assessment 1994; 6: 284-290
6. Klauer KC. Urteilerübereinstimmung bei dichotomen Kategoriensystemen. Diagnostica 1996; 42: 101-118
7. Uebersax JS. A review of modelling approaches for the analysis of observer agreement. Investigative Radiology 1992; 27: 738-743
8. Wirtz M. Methoden zur Bestimmung der Beurteilerü bereinstimmung. In: Petermann F, Eid M (Hrsg). Handbuch der Psychologie - Psychologische Diagnostik. Göttingen: Hogrefe, 2006: 369-380
9. Ulrich R, Wirtz M. On the correlation of a naturally and an artificially dichotomized variable. British Journal of Mathematical and Statistical Psychology 2004; 57: 235-252
10. Fleiss JL, Cohen J, Everitt BS. Large sample standard errors of kappa and weighted kappa. Psychological Bulletin 1969; 72: 323-327
11. Fleiss JL, Cohen J. The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability. Educational and Psychological Measurement 1973; 33: 613-619
12. Nussbeck F. Assessing multimethod association with categorical variables. In: Eid M, Diener E (Hrsg). Handbook of multimethod measurement in psychology. Washington: APA, 2005: 212-234
13. Bortz J, Lienert GA. Kurzgefasste Statistik für die klinische Forschung. Berlin: Springer, 1998
14. Valiquette CAM, Lesage AD, Cyr M, Toupin J. Computing Cohen's kappa coefficients using SPSS MATRIX. Behavioral Research Methods, Instruments and Computers 1994; 26: 60-61
15. Uebersax JS. Statistical methods for rater agreement. August 2006 - verfügbar unter URL: http://ourworld.compuserve.com/homepages/jsuebersax/ agree.html
16. Lowry R. Cohen's unweighted kappa, kappa with linear weighting, kappa with quadratic weighting, frequencies and proportions of agreement. August 2006 - verfügbar unter URL: http://faculty.vassar.edu/lowry/kappa.html
17. Hoyt WT. Rater bias in psychological research: when is it a problem and what can we do about it? Psychological Methods 2000; 5: 64-86