Development of an Item Bank to Measure Knowledge in University Students
Desarrollo de un banco de ítems para medir conocimiento en estudiantes universitarios
Author
Cupani, Marcos
Ghio, Fernanda Belén
Leal, María Florencia
Giraudo, Gimena Mariel
Castro Zamparella, Tatiana
Piumatti, Gisella
Casalotti, Antonella Belén
Ramírez, Juan Claudio
Andrés Arranz, María
Farías, Analía Norma
Padilla, Natalia
Barrionuevo, Leandro
Full text
https://revistapsicologia.uchile.cl/index.php/RDP/article/view/4480810.5354/0719-0581.2016.44808
Abstract
Measurement in the educational field of academic achievement of university students is considered empirical and quantitative. Hence, the main purpose of such assessments is to control educational systems and evaluation based on objective criteria (Long, Wendt, & Dunne, 2011). The aim of this article was to develop an Item Bank for General Knowledge Test composed by 20 specific domains of knowledge. Considering that an effective construction of a test requires organization and systematization of activities, progress in six domains are presented. The sample was composed by 6,794 university students. 1,526 items from different domains were evaluated. To calibrate the items, a nonlinear exploratory factorial analysis was performed. Difficulty and discrimination indices were obtained according to the classical theory of tests and the item response theory, and reliability indices as well. It was observed that 68% of the items have moderate difficulty and 32% of them have high or low difficulty. Internal consistency of the instrument showed high reliability values, up to .70. Further studies are needed in order to expand the item sample, and review items that showed inadequate indexes on discrimination, difficulty and reliability. This instrument allows measuring academic performance on an interval scale level and reducing the misclassification of students. La medición en el ámbito educativo del rendimiento académico de los estudiantes universitarios es considerada empírica y cuantitativa. De allí que el propósito principal de dichas evaluaciones consiste en el control de los sistemas educativos y la evaluación a partir de criterios objetivos (Long, Wendt, & Dunne, 2011). Este trabajo apunta a desarrollar un banco de ítems para el Test de Conocimiento General compuesto de 20 dominios específicos. Se presentan avances realizados en seis dominios (psicología, biología, historia, literatura, economía y leyes). La muestra estuvo compuesta por 6.794 estudiantes. Se evaluaron 1.526 ítems de distintos dominios. Se realizó un análisis factorial exploratorio no lineal, se obtuvieron los índices de dificultad y discriminación según la teoría clásica de los test y la teoría de respuesta al ítem; también se obtuvieron índices de fiabilidad. El 68% presenta dificultad moderada y 32% un índice de dificultad alto o bajo. Sobre los índices de confiabilidad en la mayoría de los dominios se obtuvieron valores satisfactorios superiores a ,70. Se concluye la necesidad de revisar los ítems que no cumplieron estos criterios y ampliar la muestra. Este instrumento permitirá reducir los errores de clasificación de los alumnos y medir el desempeño académico con una escala de intervalo.