Evaluation of classroom teaching standards;Evaluation von Unterrichtsstandards

Zeitschrift fur Erziehungswissenschaft

Volumn 13, Issue 1, 2010, Pages 121-148

  Pietsch, Marcus ^a  

^a Institut für Bildungsmonitoring Hamburg   (Germany)

Author keywords

Classroom teaching standards; Performance feedback; Performance levels; Quality of classroom teaching; School inspection

Indexed keywords

EID: 77952236079     PISSN: 1434663X     EISSN: 18625215     Source Type: Journal    
DOI: 10.1007/s11618-010-0113-z     Document Type: Article

References (88)

1. D. Andrich 1978 Application of a psychometric model to ordered categories which are scores with successive integers. Applied Psychological Measurement 2 4 581 594 10.1177/014662167800200413
2. R. L. Bangert-Drowns C. L. Kulik J. A. Kulik M. T. Morgan 1991 The instructional effect of feedback in test-like events Review of Educational Research 61 2 213 237
3. A. E. Beaton N. L. Allen 1992 Interpreting scales through scale anchoring Journal of Educational Statistics 17 2 191 204 10.2307/1165169
4. Behörde für Bildung und Sport. (2006). Orientierungsrahmen: Qualitätsentwicklung an Hamburger Schulen. Hamburg: Behörde für Bildung und Sport.
5. Bonsen, M., Büchter, A., & Peek, R. (2006). Datengestützte Schul- und Unterrichtsentwicklung. Bewertung der Lernstandserhebungen in NRW durch Lehrerinnen und Lehrer. In W. Bos, H.-G. Holtappels, R. Pfeiffer & R. Schulz-Zander (Hrsg.), Jahrbuch der Schulentwicklung (Bd. 14, S. 125-148). Weinheim: Juventa.
6. Böttcher, W., & Kotthoff, H.-G. (2007a). Schulinspektion zwischen Rechenschaftslegung und schulischer Qualitätsentwicklung: internationale Erfahrungen. In W. Böttcher & H.-G. Kotthoff (Hrsg.), Schulinspektionen: Evaluation, Rechenschaftslegung und Qualitätsentwicklung (S. 9-20). Münster: Waxmann.
7. Böttcher, W., & Kotthoff, H.-G. (2007b). Gelingensbedingungen einer qualitätsoptimierenden Schulinspektion. In W. Böttcher & H.-G. Kotthoff (Hrsg.), Schulinspektionen: Evaluation, Rechenschaftslegung und Qualitätsentwicklung (S. 223-230). Münster: Waxmann.
8. Bos, W., Holtappels, H.-G., & Rösner, E. (2006). Schulinspektionen in den deutschen Bundesländern - eine Baustellenbeschreibung. In W. Bos, H.-G. Holtappels, R. Pfeiffer & R. Schulz-Zander (Hrsg.), Jahrbuch der Schulentwicklung (Bd. 14, S. 81-124). Weinheim: Juventa.
9. Bremerich-Vos, A., & Böhme, K. (2009). Lesekompetenzdiagnostik - die Entwicklung eines standardbasierten Kompetenzmodells für den Bereich Lesen. In A. Bremerich-Vos, D. Granzer & O. Köller (Hrsg.), Bildungsstandards Deutsch und Mathematik (S. 219-249). Weinheim: Beltz.
10. Brennan, R. L. (2001). Generalizability theory. New York: Springer.
11. Brophy, J. (2000). Teaching. Genf: IBE.
12. W. Chen D. Thissen 1997 Local dependence indexes for item pairs using item response theory Journal of Educational and Behavioral Statistics 22 3 265 289 (Pubitemid 127472138)
13. B. Clauser J. M. Linacre 1999 Relating cronbach and rasch reliabilities Rasch Measurement Transactions 13 2 696
14. A. Diamantopoulus P. Riefler K. P. Roth 2008 Advancing formative measurement models Journal of Business Research 61 12 1203 1218 10.1016/j.jbusres.2008.01.009
15. M. Diedrich 2009 1. Jahresbericht der Schulinspektion: Trends für die beruflichen Schulen Informationen für Hamburger Berufliche Schulen 19 2 10 11
16. Ditton, H. (2000). Qualitätskontrolle und -sicherung in Schule und Unterricht. Ein Überblick zum Stand der empirischen Forschung. In A. Helmke, W. Hornstein & E. Terhart (Hrsg.), Qualitätssicherung im Bildungsbereich (Zeitschrift für Pädagogik: Beiheft Nr. 41, S. 73-92). Weinheim: Beltz.
17. Döbert, H., Rürup, M., & Dedering, K. (2008). Externe Evaluation von Schulen in Deutschland - die Konzepte der Bundesländer, ihre Gemeinsamkeiten und Unterschiede. In H. Döbert & K. Dedering (Hrsg.), Externe Evaluation von Schulen. Historische, rechtliche und vergleichende Aspekte (S. 63-152). Münster: Waxmann.
18. Dobbelstein, P. (2008). Qualitätsmastäbe in der Diskussion - die Suche nach dem guten Unterricht. In S. Müller, K. Dedering & W. Bos (Hrsg.), Jahrbuch Schulische Qualitätsanalyse in NRW (S. 84-92). Neuwied: LinkLuchterhand.
19. Draba, R. E. (1977). The identification and interpretation of item bias. Chicago: University of Chicago.
20. M. C. M. Ehren A. J. Visscher 2006 Towards a theory on the impact of school inspections British Journal of Educational Studies 54 1 51 72 10.1111/j.1467-8527.2006.00333.x (Pubitemid 43882915)
21. M. C. M. Ehren A. J. Visscher 2008 The relationships between school inspections, school characteristics and school improvement British Journal of Educational Studies 56 2 205 227 10.1111/j.1467-8527.2008.00400.x
22. K. Ercikan 2006 Examining guidelines for developing accurate proficiency level scores Canadian Journal of Education 29 3 823 838
23. K. Ercikan M. Julian 2002 Classification accurancy of assigning student performance to proficiency levels Applied Measurement in Education 15 3 269 294 10.1207/S15324818AME1503-3
24. Fend, H. (1998). Qualität im Bildungswesen. Schulforschung zu Systembedingungen, Schulprofilen und Lehrerleistung. Weinheim: Juventa.
25. S. Ferrara H. Huynh H. Baghi 1997 Contextual characteristics of locally dependent open-ended item clusters in a large-scale performance assessment Applied Measurement in Education 10 2 123 144 10.1207/s15324818ame1002-2
26. B. J. Fraser H. J. Walberg W. W. Welch J. A. Hattie 1987 Syntheses of educational productivity research International Journal of Educational Research 11 2 145 252 10.1016/0883-0355(87)90035-8
27. H. Goldstein 2004 International comparison of student attainment: Some issues arising from the PISA study Assessmentin Education 11 3 319 330 10.1080/0969594042000304618
28. B. Habing H. Finch J. S. Roberts 2005 A Q3 statistic for unfolding item response theory model: Assessment of unidimensionality with two factors and simple structures Applied Psychological Measurement 29 6 457 471 10.1177/0146621604279550 (Pubitemid 41617232)
29. J. Hattie H. Timperley 2007 The power of feedback Review of Educational Research 77 1 81 112 10.3102/003465430298487
30. Helmke, A. (2003). Unterrichtsqualität erfassen, bewerten, verbessern. Seelze: Kallmeyer.
31. A. Helmke 2006 Was wissen wir über guten Unterricht? Über die Rückbesinnung auf den Unterricht als Kerngeschäft der Schule Pädagogik 2 42 45
32. Helmke, A. (2009). Unterrichtsqualität und Lehrerprofessionalität. Diagnose, Evaluation und Verbesserung des Unterrichts. Seelze: Klett-Kallmeyer.
33. Helmke, A., & Weinert, F. E. (1997). Bedingungsfaktoren schulischer Leistungen. In F. E. Weinert (Hrsg.), Enzyklopädie der Psychologie: Psychologie des Unterrichts und der Schule (Bd. 3, S. 71-176). Göttingen: Hogrefe.
34. Holland, P. W., & Wainer, H. (1993). Differential item functioning. Hillsdale: Lawrence Erlbaum.
35. H. Huynh 1990 Computation and statistical inference for decision consistency indexes based on the Rasch model Journal of Educational and Statistical Statistics 15 4 353 368 10.2307/1165093
36. Huynh, H., Michaels, H., & Ferrara, S. (1995). A comparison of three procedures to identify item clusters with local dependence. Paper, präsentiert auf dem National Council on Measurement in Education, San Francisco.
37. Institut für Bildungsmonitoring. (2009). Bildungsbericht Hamburg 2009. Hamburg: Institut für Bildungsmonitoring.
38. Kiper, H. (2008). Diskurse zur Unterrichtsentwicklung: Eine kritische Betrachtung. In N. Berkemeyer, W. Bos, V. Manitius & K. Müthing (Hrsg.), Unterrichtsentwicklung in Netzwerken. Konzeptionen, Befunde, Perspektiven (S. 95-120). Münster: Waxmann.
39. Klieme, E., & Rakoczy, K. (2003). Unterrichtsqualität aus Schülerperspektive; Kulturspezifische Perspektiven, regionale Unterschiede und Zusammenhänge mit Effekten von Unterricht. In PISA-Konsortium Deutschland. (Hrsg.), PISA 2000 - Ein differenzierter Blick auf die Länder der Bundesrepublik Deutschland (S. 333-359). Opladen: Leske + Budrich.
40. Klieme, E., Schümer, G., & Knoll, S. (2001). Mathematikunterricht in der Sekundarstufe I: Aufgabenkultur und Unterrichtsgestaltung. In Bundesministerium für Bildung und Forschung. (Hrsg.), TIMSS - Impulse für Schule und Unterricht. Forschungsbefunde, Reforminitiativen, Praxisberichte und Videodokumente (S. 43-58). Bonn: BMBF.
41. Klieme, E., Baumert, J., Köller, O., & Bos, W. (2000). Mathematische und naturwissenschaftliche Grundbildung: Konzeptuelle Grundlagen und die Erfassung und Skalierung von Kompetenzen. In J. Baumert, W. Bos & R. Lehmann (Hrsg.), TIMSS/III. Dritte internationale Mathematik- und Naturwissenschaftsstudie. Mathematische und naturwissenschaftliche Bildung am Ende der Pflichtschulzeit (S. 85-134). Opladen: Leske + Budrich.
42. Klieme, E., Lipowsky, F., Rakoczy, K., & Ratzka, N. (2006). Qualitätsdimensionen und Wirksamkeit von Mathematikunterricht. Theoretische Grundlagen und ausgewählte Ergebnisse des Projekts Pythagoras'. In M. Prenzel & L. Aloi-Näcke (Hrsg.), Untersuchungen zur Bildungsqualität von Schule. Abschlussbericht des DFG-Schwerpunktprogramms (S. 127-146). Münster: Waxmann.
43. Klieme, E., Avenarius, H., Blum, W., Döbrich, W., Gruber, H., Prenzel, M., Reiss, K., Riquarts, K., Rost, J., Tenorth, H.-E., & Vollmer, H. J. (2007). Zur Entwicklung nationaler Bildungsstandards - eine Expertise. Berlin: BMBF.
44. A. N. Kluger A. DeNisi 1996 The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory Psychological Bulletin 119 2 254 284 10.1037/0033-2909.119. 2.254
45. KMK. (2005). Bildungsstandards im Fach Deutsch für den Primarbereich (Jahrgangsstufe 4) - Beschluss vom 15.10.2004. München: LinkLuchterhand.
46. Köller, O. (2008). Bildungsstandards in Deutschland: Implikation für die Qualitätssicherung und Unterrichtsqualität. In M. A. Meyer, M. Prenzel & S. Hellekamps (Hrsg.), Perspektiven der Didaktik (Zeitschrift für Erziehungswissenschaft: Sonderheft 9, S. 47-59). Wiesbaden: VS Verlag für Sozialwissenschaften.
47. R. W. Kulhavy W. A. Stock 1989 Feedback in written instruction: The place of response certitude Educational Psychology Review 1 4 279 308 10.1007/BF01320096
48. Kolen, M. J., & Brennan, R. L. (2004). Test equating, scaling, and linking: Methods and practices. New York: Springer.
49. N. Maritzen 2007 Schulinspektion - ein neues Element der Systemsteuerung Journal für Schulentwicklung 11 3 6 14
50. G. N. Masters 1982 A Rasch model for partial credit scoring Psychometrika 47 149 174 10.1007/BF02296272
51. Meyer, H. (2004). Was ist guter Unterricht? Berlin: Cornelsen.
52. Meyer, H. (2006). Schulinspektion führt nicht automatisch zu Qualitätssicherung: Interview mit der westfälisch-lippischen Direktorenvereinigung. http://www.westfaelische-direktorenvereinigung.de/PDF/ Jahrestagung%202006/Interview%20Schulinspektion.pdf. Zugegriffen: 05. Sep. 2009.
53. Meyer, H. im Gespräch mit M. A. Meyer (2008). Disput über aktuelle Probleme und Aufgaben der Didaktik. In M. A. Meyer, M. Prenzel & S. Hellekamps (Hrsg.), Perspektiven der Didaktik (Zeitschrift für Erziehungswissenschaft: Sonderheft 9, S. 77-86). Wiesbaden: VS Verlag für Sozialwissenschaften.
54. Meyer, H., & Klapper, A. (2006). Unterrichtsstandards für ein kompetenzorientiertes Lernen und Lehren. In R. Hinz & B. Schumacher (Hrsg.), Auf den Anfang kommt es an: Kompetenzen entwickeln - Kompetenzen stärken (S. 89-108). Wiesbaden: VS Verlag für Sozialwissenschaften.
55. Oelkers, J., & Reusser, K. (2008). Qualität entwickeln, Standards sichern, mit Differenzen umgehen. Berlin: BMBF.
56. Pietsch, M. (2009a). Die Qualität des Unterrichts an Hamburger Schulen aus Beobachterperspektive. In Institut für Bildungsmonitoring. (Hrsg.), Jahresbericht der Schulinspektion Hamburg 2008 (S. 44-62). Hamburg: Behörde für Schule und Berufsbildung.
57. Pietsch, M. (2009b). Unterrichtsbeobachtungen & Co.: Die externe Evaluation hinterlässt einen Datenberg. Was steckt dahinter und wie können Sie damit arbeiten? In M. Bonsen, W. Hohmeier, & M. Reese (Hrsg.), Handbuch Unterrichtsqualität sichern - Sekundarstufe (Loseblattsammlung). Berlin: Raabe.
58. Pietsch, M., & Leist, S. (2009). The impact of.,not observable" response options on the results of classroom observations: An application of Latent Class Pattern Mixture Models to outcomes that are potentially missing not at random. Paper präsentiert auf der 13. Biennale der European Association for Research on Learning and Instruction (EARLI), Amsterdam.
59. M. Pietsch S. Tosana 2008 Beurteilereffekte bei der Messung von Unterrichtsqualität: Das Multifacetten-Rasch-Modell und die Generalisierbarkeitstheorie als Methoden in der externen Evaluation von Schulen Zeitschrift für Erziehungswissenschaft 11 430 452 10.1007/s11618-008-0021-7
60. Pietsch, M., Bonsen, M., & Bos, W. (2007). Ein Index sozialer Belastung als Grundlage für die Rückmeldung fairer Vergleiche' von Grundschulen in Hamburg. In W. Bos & M. Pietsch (Hrsg.), KESS 4 - Kompetenzen von Schülerinnen und Schülern am Ende der Jahrgangsstufe 4 an Hamburger Grundschulen (S. 225-246). Münster: Waxmann.
61. M. Pietsch J. Schnack P. Schulze 2009a Unterricht zielgerichtet entwickeln: Die Schulinspektion Hamburg entwickelt ein Stufenmodell für die Qualität von Unterricht Pädagogik 2 38 43
62. Pietsch, M., Böhme, K., Robitzsch, A., & Stubbe, T. C. (2009b). Das Stufenmodell zur Lesekompetenz der länderübergreifenden Bildungsstandards im Vergleich zu IGLU 2006. In A. Bremerich-Vos, D. Granzer & O. Köller (Hrsg.), Bildungsstandards Deutsch und Mathematik (S. 393-428). Weinheim: Beltz.
63. Pietsch, M., Schnack, J., Schulze, P., & Krause, M. (in Vorb.). Elaborierte Rückmeldungen zur Qualität von Unterricht: Über empirisch abgesicherte Bezugsnormen für die Weiterentwicklung von Schule und Unterricht. In S. Müller, M. Pietsch & W. Bos (Hrsg.), Schulinspektionen in Deutschland - eine erste empirische Zwischenbilanz. Münster: Waxmann.
64. Ravitch, D. (1995). National standards in American education: A citizen's guide. Washington: Brookings Institution Press.
65. M. D. Reckase T. A. Ackerman J. E. Carlson 1988 Building a unidimensional test using multidimensional items Journal of Educational Measurement 25 3 193 203 10.1111/j.1745-3984.1988.tb00302.x
66. Robitzsch, A. (2009). Methodische Herausforderungen bei der Kalibrierung von Leistungstests. In A. Bremerich-Vos, D. Granzer & O. Köller (Hrsg.), Bildungsstandards Deutsch und Mathematik (S. 42-107). Weinheim: Beltz.
67. Rolff, H.-G. (2007). Studien zu einer Theorie der Schulentwicklung. Weinheim: Beltz.
68. Rost, J. (2004). Lehrbuch Testtheorie/Testkonstruktion. Bern: Huber.
69. Sammons, P., Hillman, J., & Mortimore, P. (1995). Key characteristics of effective schools: A review of school effectiveness research. London: OFSTED.
70. Scherens, J., & Bosker, R. (1997). The foundations of educational effectiveness. Oxford: Pergamon Press.
71. G. Schwartz 1978 Estimating the dimension of a model The Annals of Statistics 6 2 461 464 10.1214/aos/1176344136
72. T. Seidel 2008 Schuleffektivitätskriterien in der internationalen empirischen Forschung Zeitschrift für Erziehungswissenschaft 11 348 367 10.1007/s11618-008-0032-4
73. T. Seidel R. J. Shavelson 2007 Teaching effectiveness research in the past decade: The role of theory and research design in disentangling meta-analysis results Review of Educational Research 77 4 454 499 10.3102/0034654307310317
74. S. G. Sireci D. Thissen H. Wainer 1991 On the reliability of testlet-based tests Psychometrika 28 3 237 247
75. R. M. Smith R. E. Schumacker M. J. Bush 1998 Using item mean squares to evaluate fit to the Rasch model Journal of Outcome Measurement 2 1 66 78
76. M. H. Stone B. D. Wright A. J. Stenner 1999 Mapping variables Journal of Outcome Measurement 3 4 308 322
77. Stralla, M. (2009). Die Unterrichtsbeobachtungen im Rahmen der deutschen Schulinspektion. Analyse des Kerninstruments zur Beurteilung der Schulqualität (Unveröffentlichte Diplomarbeit). Berlin: Freie Universität Berlin.
78. Visscher, A. J., & Coe, R. (2002). School improvement through performance feedback. Lisse: Swets & Zellinger.
79. A. J. Visscher R. Coe 2003 School performance feedback systems. Conceptualisation, analysis and reflection School Effectiveness and School Improvement 14 3 321 349 10.1076/sesi.14.3.321.15842 (Pubitemid 40097109)
80. H. Wainer D. Thissen 1996 How is reliability related to the quality of test scores? What is the effect of local dependence on reliability? Educational Measurement: Issues and Practice 15 1 22 29 10.1111/j.1745-3992.1996.tb00803.x
81. C. M. Walker S. N. Beretvas 2003 Comparing multidimensional and unidimensional proficiency classification: multidimensional IRT as a diagnostic aid Journal of Educational Measurement 40 3 255 275 10.1111/j.1745-3984.2003. tb01107.x
82. Weinert, F. E. (2001). Vergleichende Leistungsmessung in Schulen - eine umstrittene Selbstverständlichkeit. In F. E. Weinert (Hrsg.), Leistungsmessungen in Schulen (S. 17-31). Weinheim: Beltz.
83. B. D. Wright J. M. Linacre 1994 Reasonable mean-square fit values Rasch Measurement Transactions 8 3 370
84. B. D. Wright G. N. Masters 2002 Number of person or item strata Rasch Measurement Transactions 16 3 888
85. Wu, M. L., Adams, R. J., & Wilson, M. R. (1998). ACER ConQuest. Generalised item response modelling software. Melbourne: ACER Press.
86. W. M. Yen 1984 Effects of local item dependence on the fit and equating performance of the three-parameter logistic model Applied Psychological Measurement 8 2 125 145 10.1177/014662168400800201
87. W. M. Yen 1993 Scaling performance assessments Journal of Educational Measurement 30 3 187 213 10.1111/j.1745-3984.1993.tb00423.x
88. R. Zwick D. Senturk J. Wang S. C. Loomis 2001 An investigation of alternative methods for item mapping in the National Assessment of Educational Progress Educational Measurement: Issues and Practice 20 2 15 25 10.1111/j.1745-3992.2001.tb00059.x