Show simple item record

Using a Multifocal Lens Model and Rasch Measurement Theory to Evaluate Rating Quality in Writing Assessments

Evaluación de calidad de calificaciones en exámenes escritos a través del modelo multifocal de lente y la teoría de medición de Rasch

dc.contributoren-US
dc.contributores-ES
dc.creatorWang, Jue; The University of Georgia
dc.creatorEngelhard Jr., George; The University of Georgia
dc.date2017-10-31
dc.date.accessioned2020-03-02T17:11:36Z
dc.date.available2020-03-02T17:11:36Z
dc.identifierhttp://pensamientoeducativo.uc.cl/index.php/pel/article/view/891
dc.identifier10.7764/PEL.54.2.2017.
dc.identifier.urihttps://revistaschilenas.uchile.cl/handle/2250/133091
dc.descriptionLens models have been used extensively for the examination of human judgments. Applications of lens model have occurred in a variety of contexts including judgments of reading achievement, clinical diagnosis, and personality characteristics. Rater-mediated writing assessments involve human judgments toward student essays. The judgmental process determines the quality of ratings, and this directly affects validity and fairness of ratings. Lens models provide a theoretical framework to evaluate rater judgment in rater-mediated assessments. Rasch measurement theory offers an alternative methodological approach for studying human judgments, and we propose combining Rasch measurement theory with a multifocal lens model. In order to illustrate our approach, the ratings of three expert raters and 20 operational raters from a state writing assessment program in the United States are examined in this study. There are only 35% of the students with comparable writing proficiency measures based on a comparison of ratings from operational raters and expert raters. The combination of a multifocal lens model with Rasch measurement theory offers a new pathway for understanding the quality of ratings for rater-mediated assessments. Keywords: Multifocal lens model; Rasch measurement theory; rater-mediated assessments; writing assessmentsdoi: 10.7764/PEL.54.2.2017.3  en-US
dc.descriptionLos modelos de lente han sido usados extensivamente para examinar los juicios humanos. Las aplicaciones de estos modelos han ocurrido en una variedad de contextos que incluyen juicios de logros de lectura, diagnósticos clínicos y características personales. Los exámenes escritos sujetos a calificaciones mediadas involucran juicios humanos hacia los ensayos de los estudiantes. Los procesos de juicio determinan la calidad de las calificaciones, y esto afecta directamente la imparcialidad y validez de las calificaciones. El modelo de lente provee un marco teórico con el que se puede evaluar los juicios en exámenes sujetos a calificaciones mediadas. La teoría de medición de Rasch ofrece un acercamiento metodológico alternativo con el modelo multifocal de lente. Para poder ilustrar nuestro acercamiento a esta teoría, fueron examinadas las calificaciones de tres expertos calificadores y 20 calificadores operacionales de un programa estatal de apoyo a la escritura en los Estados Unidos. Hay solo un 35% de estudiantes con competencias comparables en escritura, medidas en base a la comparación de calificaciones de calificadores operacionales y calificadores expertos. La combinación de un modelo de lente multifocal con la teoría de medición de Rasch ofrece nuevas maneras de entendimiento sobre la calidad de calificaciones mediadas por evaluadores. Palabras clave: Modelo multifocal de lente; Teoría de medición de Rasch; evaluaciones escritas; evaluaciones mediadas por evaluadores doi: 10.7764/PEL.54.2.2017.3  es-ES
dc.formatapplication/pdf
dc.formattext/html
dc.formatapplication/pdf
dc.formattext/html
dc.languageen
dc.publisherPontificia Universidad Católica de Chilees-ES
dc.relationhttp://pensamientoeducativo.uc.cl/index.php/pel/article/download/891/2924
dc.rightsThe Copyright of all communications published in Pensamiento Educativo. Revista de Investigación Educacional Latinoamericana, belong to Pontificia Universidad Católica de Chile. If the author requires to publish the article in another journal or book, he/she must request an authorization to the Editor in Chief of the journal. 
dc.rightsLos derechos de autor de todos los artículos publicados en Pensamiento Educativo. Revista de Investigación Educacional Latinoamericana, pertenecen a la Pontificia Universidad Católica de Chile. Si el autor desea publicar su artículo en otra revista o libro, debe solicitar autorización al Editor en Jefe de la revista
dc.sourcePensamiento Educativo. Revista de Investigación Educacional Latinoamericana; Vol 54, No 2 (2017); 1-16en-US
dc.sourcePensamiento Educativo. Revista de Investigación Educacional Latinoamericana; Vol 54, No 2 (2017); 1-16es-ES
dc.subjectMultifocal lens model; Rasch measurement theory; rater-mediated assessments; writing assessmentsen-US
dc.subjectModelo multifocal de lente; Teoría de medición de Rasch; evaluaciones escritas; evaluaciones mediadas por evaluadoreses-ES
dc.titleUsing a Multifocal Lens Model and Rasch Measurement Theory to Evaluate Rating Quality in Writing Assessmentsen-US
dc.titleEvaluación de calidad de calificaciones en exámenes escritos a través del modelo multifocal de lente y la teoría de medición de Rasches-ES
dc.typeen-US
dc.typees-ES


This item appears in the following Collection(s)

Show simple item record