Study on the Use of Essay Questions in College Admission Tests

Estudio Acerca del Uso de Preguntas de Ensayo en Pruebas de Selección Universitaria

Author
Manzi, Jorge; Pontificia Universidad Católica de Chile

Flotts, María Paulina; Pontificia Universidad Católica de Chile

Himmel, Erika; Pontificia Universidad Católica de Chile

Rosas, Ricardo; Pontificia Universidad Católica de Chile

Bravo, David; Universidad de Chile

Full text
http://www.psykhe.cl/index.php/psykhe/article/view/360
10.7764/psykhe.12.2.360
Abstract
In this article we present evidence supporting the use of open-ended essay questions in college admission tests. Data was obtained from a larger study whose main focus was to provide empirical evidence for the validity of the newly developed college admission tests in Chile (SIES, Sistema de Ingreso a la Educación Superior). The present study examined the answers given by 458 high school seniors to five different essay questions. Two independent judges graded each question by using two different types of rubrics (holistic and analytic) Results showed that consistency and agreement among judges were high irrespective of the type of rubric used to grade the questions. In addition, correlations of the scores in these questions to cognitive and demographic factors revealed that they provide information above and beyond the information provided by the current college admission tests. Finally, the results are also positive in view of the sociocultural and gender differences associated with educational test.
 
Este estudio presenta evidencia empírica para respaldar el eventual uso de preguntas de ensayo en las pruebas de selección universitaria en Chile. En el marco de un proyecto de investigación que ha estado revisando tales pruebas (Proyecto SIES), se desarrollaron, aplicaron y corrigieron cinco versiones alternativas de preguntas de ensayo en una muestra de 458 estudiantes de último año de enseñanza secundaria. Cada pregunta fue corregida con dos tipos de rúbrica (analítica y holista) por dos jueces con ambos tipos de rúbrica. Por otra parte, las correlaciones de estas proveen las pruebas tradicionales de admisión y evidenciaron resultados positivos en términos de equidad, considerando tanto el género como el capital sociocultural de los examinados.
 
Metadata
Show full item record