Valid Writing Assessment from the Perspectives of the Writing and Measurement Communities
Evaluación válida de la escritura desde la perspectiva de las comunidades de investigación en escritura y medición
Author
Behizadeh, Nadia; Georgia State University
Engelhard, George; University of Georgia
Abstract
This study examines the concept of validity in two distinct communities of practice: the writing research and educational measurement communities. Conceptualizations of validity have evolved differentially within each community. Three questions guide our research: (a) What is a valid writing assessment from the perspective of the writing community? (b) What is a valid writing assessment from the perspective of the measurement community? (c) What are some points of consensus and disagreement over the concept of validity in the two communities? This study aims to foster communication between these two different scholarly communities regarding validity issues in writing assessment. We also highlight the contributions that Rasch measurement theory (Rasch, 1960/1980) brings to understanding and evaluating validity. Our goals are to enhance the conceptualization of validity in writing assessment and to identify areas of consensus and disagreement regarding definitions of validity. These analyses extend earlier work by Engelhard and Behizadeh (2012) that explored consensus definitions of validity. This research has implications for improving research, theory, and practice in writing assessment. Keywords: validity, consequential validity, writing assessment, communities of practice, Rasch measurement theory http://dx.doi.org/10.7764/PEL.52.2.2015.3 Este estudio examina el concepto de validez en dos comunidades de práctica distintas: la de investigación en escritura y la de medición educacional. Las conceptualizaciones de validez han evolucionado diferencialmente dentro de cada una de ellas. Tres preguntas guían nuestro estudio: (a) ¿En qué consiste una evaluación válida de escritura según la comunidad de investigación en escritura? (b) ¿En qué consiste una evaluación válida de escritura según la comunidad de investigación en medición? (c) ¿Cuáles son los puntos de consenso y desacuerdo sobre el concepto de validez en ambas comunidades? El presente estudio busca fomentar la comunicación entre estas dos comunidades académicas con respecto a los problemas asociados con la validez en la evaluación de la escritura. También destacamos las contribuciones de la teoría de medición Rasch (Rasch, 1960/1980) a la comprensión y evaluación de la validez. Nuestras metas son fortalecer la conceptualización de la validez en la evaluación de la escritura e identificar áreas de consenso y disenso en las definiciones de validez existentes. Estos análisis expanden el trabajo previo de Engelhard y Behizadeh (2012), el cual exploró definiciones consensuadas de validez. El presente estudio tiene implicaciones para mejorar la investigación, la teoría y la práctica en la evaluación de la escritura. Palabras clave: validez, validez consecuencial, evaluación de la escritura, comunidades de práctica, teoría de medición Rasch http://dx.doi.org/10.7764/PEL.52.2.2015.3