Cognitive Representations Involved in the Assessment of Teachers’ Portfolios
Representaciones cognitivas involucradas en la corrección de portafolios docentes
Author
García, María Rosa
Torres, Pablo E.
Leyton, Carolina
Full text
http://pensamientoeducativo.uc.cl/index.php/pel/article/view/2618110.7764/PEL.50.1.2013.3
Abstract
In the Chilean National Teacher Evaluation System, one of the central instruments
used to assess teachers’ performance is the Portfolio, which is reviewed and scored by
school teachers trained and supervised to do so. The rating process is central to the
system, because it impacts the extent to which valid inferences can be made from the
assessment outcomes. Thus, understanding raters cognition has become an interesting
area of research. This study shows results from cognitive representations used by
raters during the Portfolio rating process. It specifically focuses on the relationship
between the accuracy reached in the assessment and the quantity and quality of mental
representations. Six teachers rated six portfolio entries using evaluation rubrics and
following the think aloud procedure. The results show that it is not the amount but
the quality of mental representations that relates to accuracy in the assessments of
written portfolio. The results provide insights into the types of representations and
concepts that seem to be more effective when the raters represent both, the evidence
given by the evaluated teachers and the rubrics with the assessment criteria. En el Sistema de Evaluación del Desempeño Profesional Docente en Chile, uno de los
instrumentos centrales para evaluar el desempeño docente es el portafolio, el cual es
corregido por profesores de aula, seleccionados y capacitados para realizar esta tarea.
Esta corrección es un proceso central del sistema, ya que incide en la validez de las
inferencias posibles de extraer de los resultados obtenidos. Es por ello que comprender
el razonamiento de los correctores al evaluar y corregir la evidencia se ha vuelto un eje
de interés. En este estudio se presentan resultados asociados a las representaciones
cognitivas que emplean los correctores al corregir evidencia del portafolio y las
relaciones que existen entre la cantidad y la cualidad de estas con la precisión de la
corrección. Seis profesores corrigieron seis entradas (evidencias) del portafolio escrito
utilizando pautas de evaluación (rúbricas) y el método de pensamiento en voz alta.
Los resultados muestran que la precisión evaluativa se ve afectada por la cualidad de
las representaciones utilizadas más que por su cantidad. Asimismo, los resultados
orientan sobre los tipos de representaciones y conceptos que resultan más efectivos
al representarse la evidencia entregada por los evaluados y al representarse la pauta de
corrección.