Show simple item record

The Evaluation of Teaching Practices

La evaluación de las prácticas docentes

dc.contributoren-US
dc.contributores-ES
dc.creatorTaut, Sandy; Pontificia Universidad Católica de Chile
dc.creatorManzi, Jorge; Pontificia Universidad Católica de Chile
dc.creatorMolina, Andrés; Pontificia Universidad Católica de Chile
dc.date2013-04-30
dc.date.accessioned2020-03-02T17:11:21Z
dc.date.available2020-03-02T17:11:21Z
dc.identifierhttp://pensamientoeducativo.uc.cl/index.php/pel/article/view/526
dc.identifier10.7764/PEL.50.1.2013.
dc.identifier.urihttps://revistaschilenas.uchile.cl/handle/2250/132991
dc.descriptionKey actors in education policies worldwide accept the importance of strengthening teaching practices for the improvement of the quality and equity of education.  According to a recent report by the Organization for Economic Cooperation and Development (OECD, 2013), many stakeholders also agree that teacher evaluation can provide valuable information for both management decisions and guiding teachers’ professional development.  Globally, there are a variety of teacher evaluation systems, which differ in aspects such as the level (national or local), the indicators, the instruments and evaluators involved and the consequences they bring for the evaluated.  Despite this variety, the results of the Teaching and Learning International Survey (TALIS) (OECD, 2009) show that the majority of teachers consider the results of their evaluation valid (83%) and find them helpful for introducing improvements into their practices (79%). In the case of the United States, after the recent federal legislation "Race to the Top" came into force, a strong argument has been playing out on teacher evaluation and the best indicators and tools for approaching it. The major school districts like New York, Los Angeles and Chicago are introducing new teacher evaluation programs, often combining classroom observations and value-added indicators, which use student performance on standardized tests. The Bill and Melinda Gates Foundation has developed a meticulous study, known as Measures of Effective Teaching (MET), that analyzes different measurements of teacher effectiveness, including classroom observation, value-added indicators and student questionnaires (Bill & Melinda Gates Foundation, 2011; Kane & Staiger, 2012). In Latin America, countries such as Chile and Mexico already have experience with teacher evaluation programs (see Manzi, Gonzalez & Sun, 2012), while in countries like Peru, Colombia, Ecuador and Brazil there is much interest and pilot projects have been implemented. These efforts generally recognize the importance of taking direct evidence of classroom practices into account, although in some cases, teacher preparation methods or the impact of teachers on student learning are also considered. The growing interest in the evaluation of teaching practices was reflected in the organization of the First Latin American Congress of Educational Measurement and Evaluation (Primer Congreso Latinoamericano de Medición y Evaluación Educacional - COLMEE), focused on teacher evaluation and educational improvement. COLMEE, held in Santiago, Chile by the UC MIDE Measurement Center of the Catholic University of Chile and a set of sponsoring institutions (UNESCO, Inter-American Development Bank, Mexico’s National Institute for Educational Evaluation, Colombian Institute for Educational Evaluation, Educational Evaluation Institute of the Catholic University of Uruguay and Fundación Chile), was conceived as an opportunity for training and reflection on the techniques and scope of the different educational measurement experiences in Latin American countries. In its first occurrence, it featured training workshops and space for the presentation of about 60 studies and the experiences of 10 countries in Latin America, all previously selected by a scientific committee. Over 300 people, about a quarter of them from outside Chile, attended the event. The repetition of this initiative every two years (Mexico will be hosting COLMEE 2014) will provide a permanent space for reflection on various topics relating to educational measurement and evaluation. From the studies presented at COLMEE 2012, three outstanding papers were selected for this section, all on research on the evaluation of teaching practices. Martínez sets the stage by providing an analytical summary of the why, what and how of measuring and evaluating teacher performance. His article begins with a summary of the instruments commonly used to measure teaching practices (including portfolios and classroom observation) and provides a discussion on how to combine these numerous measures to evaluate teaching practices. The other two articles contain research on two instruments that are widely used to evaluate teaching practices based on direct evidence of classroom practices: observation and portfolios. The qualitative research of Garcia et al. investigates the cognitive representations involved in correcting portfolios as one of the instruments of the Chilean national teacher evaluation system. The authors research the cognitive representations that lead to greater accuracy in portfolio correction. They also offer recommendations for corrector training, through, for example, the exploration of the correctors’ personal pedagogical beliefs, in order to reduce their effect on the correction. Trevino et al. examine the internal structure of an observation instrument originally developed in the United States, called Classroom Assessment Scoring System (CLASS), to investigate the performance of teachers in Chilean preschool classrooms. Their work characterizes practices from a sample of Chilean preschool educators in vulnerable contexts, identifying four different performance profiles based on the dimensions of the CLASS guideline. These profiles demand different professional development measures to overcome the diagnosed weaknesses. The publication of this special section is timely because, as mentioned initially, it delves into issues of great interest for educational research and educational policy both in Latin America and elsewhere. We are delighted to note that the articles presented in this issue reflect a concern about the validity of teaching practice evaluation, a central aspect for the quality of educational measurement and evaluation (American Educational Research Association, American Psychological Association & National Council for Measurement in Education, 1999; Joint Committee on Standard for Educational Evaluation, 2009) that is not always sufficiently present in the development and implementation of teacher evaluation programs, nor in educational research (Kane, 2006; Taut, Santelices, & Stecher, 2012). We hope that this special section brings to the forefront the importance of validating educational measurements in general, and measurements of teaching practices in particular; especially if these measures are part of evaluation systems that have consequences for the teachers evaluated. References American Educational Research Association, American Psychological Association & National Councial for Measurement in Education (1999).  The standards for educational and psychological testing.  Washington, USA: American Educational Research Association. Bill & Melinda Gates Foundation (2011).  Learning about teaching. Seattle, USA: Bill and Melinda Gates Foundation. Joint Committee on Standard for Educational Evaluation (2009). The personnel evaluation standards. Thousand Oaks, USA:  Sage. Kane, M. (2006).  Validation.  En R. Brennan (Ed.), Educational Measurement, Cuarta Edición (pp. 17–64). Westport, USA: Praeger. doi: 10.1177/0265532211417210 Kane, T., & Staiger, D. (2012).  Gathering feedback for teaching. Seattle, USA:  Bill and Melinda Gates Foundation. Manzi, J., González, R. y Sun, Y. (Eds.) (2011).  La evaluación docente en Chile.  Santiago, Chile: Facultad de Ciencias Sociales, Escuela de Psicología, PUC. OCDE (2009).  Creating effective teaching and learning environments: first results from TALIS.  Paris, France: OECD Publishing. OCDE (2013).  Teachers for the 21st century: using evaluation to improve teaching.  Paris, France: OECD Publishing. Taut, S., Santelices, M. V., & Stecher, B. (2012).  Validation of a national teacher assessment and improvement system.  Educational Assessment, 17(4), 163-199.  doi: 10.1080/10627197.2012.735913http://dx.doi.org/10.7764/PEL.50.1.2013.1en-US
dc.descriptionLa importancia que tiene el fortalecimiento de las prácticas docentes para mejorar la calidad y equidad de la educación es aceptada mundialmente por los actores claves de las políticas educativas.  Según un reciente informe de la Organización para la Cooperación y el Desarrollo Económicos (OCDE, 2013) muchos actores también concuerdan en que la evaluación del desempeño docente puede constituir una herramienta que ofrece información valiosa tanto para la toma de decisiones de gestión como para orientar el desarrollo profesional docente.  A nivel mundial, hay una gran variedad de sistemas de evaluación docente, que difieren en aspectos como la escala nacional o local, los indicadores, los instrumentos y evaluadores involucrados y las consecuencias que traen para los evaluados.  Pese a esta variedad, los resultados de la encuesta internacional Teaching and Learning International Survey (TALIS) (OCDE, 2009) muestran que la mayoría de los docentes consideran válidos los resultados de su evaluación (un 83%) y los encuentran útiles para introducir mejoras en su práctica (79%).  En el caso de Estados Unidos, desde la entrada en vigencia de la reciente legislación federal “Race to the Top”, se ha desarrollado una fuerte discusión sobre la evaluación docente y los mejores indicadores y herramientas para abordarla.  Los distritos escolares importantes como Nueva York, Los Angeles y Chicago están introduciendo nuevos programas de evaluación docente, generalmente combinando observaciones de aula e indicadores de valor agregado, los que utilizan resultados de los estudiantes en pruebas estandarizadas.  La fundación Bill y Melinda Gates ha desarrollado un estudio meticuloso conocido como Measures of Effective Teaching (MET), que analiza las distintas medidas de efectividad docente incluyendo la observación de aula, los indicadores de valor agregado y los cuestionarios para estudiantes (Bill & Melinda Gates Foundation, 2011; Kane & Staiger, 2012).  En América Latina, en países como Chile y México ya existen experiencias de programas de evaluación docente (véase Manzi, Gonzalez y Sun, 2012), mientras que en países como Perú, Colombia, Ecuador y Brasil hay mucho interés y se han implementado proyectos pilotos.  Estos esfuerzos en general reconocen la importancia de considerar evidencia directa de las prácticas de aula, aunque en algunos casos también se consideran medidas de la preparación docente o del impacto de los docentes en el aprendizaje de sus estudiantes.  El creciente interés en la evaluación de la práctica docente se vio reflejado en la organización del Primer Congreso Latinoamericano de Medición y Evaluación Educacional (COLMEE), centrado en la evaluación del desempeño docente y el mejoramiento educativo.  COLMEE, organizado en Santiago de Chile por el Centro de Medición MIDE UC de la Pontificia Universidad Católica de Chile y un conjunto de instituciones patrocinadoras (Unesco, Banco Interamericano de Desarrollo, Instituto Nacional para la Evaluación de la Educación de México, Instituto Colombiano para la Evaluación de la Educación, Instituto de Evaluación Educativa de la Universidad Católica del Uruguay y Fundación Chile), nació como una instancia de formación y reflexión acerca de las técnicas y alcances de las distintas experiencias de medición educacional en los países de América Latina, y en su primera versión ofreció talleres de formación y espacio para la presentación de cerca de 60 investigaciones y experiencias relevantes de 10 países de América Latina previamente seleccionadas por un comité científico.  Al evento asistieron más de 300 personas, cerca de un cuarto de ellas provenientes del extranjero.  La continuidad de esta iniciativa cada dos años (México será el organizador de COLMEE 2014) permitirá contar con un espacio permanente de reflexión en torno a diversos temas relevantes de medición y evaluación educacional.  A partir de los trabajos expuestos en COLMEE 2012, se eligieron tres ponencias destacadas para conformar los artículos seleccionados para esta sección, todos ellos sobre investigaciones acerca de la evaluación de las prácticas docentes.  Martínez prepara el terreno ofreciendo un resumen analítico del porqué, qué y cómo de la medición y evaluación del desempeño docente.  Su artículo comienza con un resumen de los instrumentos comúnmente utilizados para medir las prácticas docentes (incluidos los portafolios y la observación de aula) y establece una discusión acerca de cómo combinar estas múltiples medidas para evaluar las prácticas docentes.  Los otros dos artículos representan investigaciones sobre dos instrumentos que se usan mucho para evaluar las prácticas docentes a partir de evidencia directa de las prácticas de aula: la observación y el portafolio.  La investigación cualitativa de García et al. indaga en las representaciones cognitivas involucradas en la corrección del portafolio como uno de los instrumentos del sistema nacional chileno de evaluación del desempeño docente.  Los autores investigan sobre las representaciones cognitivas que llevan a una mayor precisión en la corrección de los portafolios.  Asimismo, emiten recomendaciones para el entrenamiento de correctores, por ejemplo, a través de la exploración de las creencias pedagógicas personales de los correctores, para así disminuir su efecto en la corrección.  Treviño et al. examinan la estructura interna de un instrumento de observación originalmente desarrollado en Estados Unidos, llamado Classroom Assessment Scoring System (CLASS), para investigar el desempeño docente en aulas preescolares chilenas.  En su trabajo se caracterizan las prácticas de una muestra de educadoras preescolares chilenas de contextos vulnerables, identificando a partir de las dimensiones de la pauta CLASS cuatro distintos perfiles de desempeño, los que demandarían distintas acciones de desarrollo profesional para superar las debilidades diagnosticadas.  La publicación de la presente sección especial es oportuna ya que, como se mencionó inicialmente, profundiza en temas de alto interés para la investigación educacional y política educativa tanto en América Latina como en otras latitudes.  Nos alegra sobremanera constatar que los artículos presentados en esta edición reflejan una preocupación por la validez de la evaluación de las prácticas docentes —un aspecto central de la calidad de la medición y evaluación educacional (American Educational Research Association, American Psychological Association & National Councial for Measurement in Education, 1999; Joint Committee on Standard for Educational Evaluation, 2009) que no siempre está suficientemente presente en el desarrollo y en la implementación de programas de evaluación docente, así como tampoco en la investigación educacional (Kane, 2006; Taut, Santelices, & Stecher, 2012).  Esperamos que esta sección especial ponga sobre la mesa la relevancia de la validación de las medidas educacionales en general y de la práctica docente en particular, sobre todo si estas medidas forman parte de sistemas de evaluación que conllevan consecuencias para los docentes evaluados.  Referencias  American Educational Research Association, American Psychological Association & National Councial for Measurement in Education (1999).  The standards for educational and psychological testing.  Washington, USA: American Educational Research Association. Bill & Melinda Gates Foundation (2011).  Learning about teaching. Seattle, USA: Bill and Melinda Gates Foundation. Joint Committee on Standard for Educational Evaluation (2009). The personnel evaluation standards. Thousand Oaks, USA:  Sage. Kane, M. (2006).  Validation.  En R. Brennan (Ed.), Educational Measurement, Cuarta Edición (pp. 17–64). Westport, USA: Praeger. doi: 10.1177/0265532211417210 Kane, T., & Staiger, D. (2012).  Gathering feedback for teaching. Seattle, USA:  Bill and Melinda Gates Foundation. Manzi, J., González, R. y Sun, Y. (Eds.) (2011).  La evaluación docente en Chile.  Santiago, Chile: Facultad de Ciencias Sociales, Escuela de Psicología, PUC. OCDE (2009).  Creating effective teaching and learning environments: first results from TALIS.  Paris, France: OECD Publishing. OCDE (2013).  Teachers for the 21st century: using evaluation to improve teaching.  Paris, France: OECD Publishing. Taut, S., Santelices, M. V., & Stecher, B. (2012).  Validation of a national teacher assessment and improvement system.  Educational Assessment, 17(4), 163-199.  doi: 10.1080/10627197.2012.735913http://dx.doi.org/10.7764/PEL.50.1.2013.1es-ES
dc.formatapplication/pdf
dc.formattext/html
dc.languageen
dc.publisherPontificia Universidad Católica de Chilees-ES
dc.rightsThe Copyright of all communications published in Pensamiento Educativo. Revista de Investigación Educacional Latinoamericana, belong to Pontificia Universidad Católica de Chile. If the author requires to publish the article in another journal or book, he/she must request an authorization to the Editor in Chief of the journal. 
dc.rightsLos derechos de autor de todos los artículos publicados en Pensamiento Educativo. Revista de Investigación Educacional Latinoamericana, pertenecen a la Pontificia Universidad Católica de Chile. Si el autor desea publicar su artículo en otra revista o libro, debe solicitar autorización al Editor en Jefe de la revista
dc.sourcePensamiento Educativo. Revista de Investigación Educacional Latinoamericana; Vol 50, No 1 (2013): oculto; 1-3en-US
dc.sourcePensamiento Educativo. Revista de Investigación Educacional Latinoamericana; Vol 50, No 1 (2013): oculto; 1-3es-ES
dc.titleThe Evaluation of Teaching Practicesen-US
dc.titleLa evaluación de las prácticas docenteses-ES
dc.typeen-US
dc.typees-ES


This item appears in the following Collection(s)

Show simple item record