Empowering End Users to Evaluate Score Reports: Current Challenges and Proposed Solution
Alentando los distintos actores a evaluar informes de resultados de pruebas estandarizadas: desafíos y propuestas
| dc.creator | Gándara , Fernanda | |
| dc.creator | Francis Rick, Francis | |
| dc.date | 2020-12-03 | |
| dc.date.accessioned | 2021-06-01T12:39:04Z | |
| dc.date.available | 2021-06-01T12:39:04Z | |
| dc.identifier | http://pensamientoeducativo.uc.cl/index.php/pel/article/view/24977 | |
| dc.identifier | 10.7764/PEL.54.2.2017.11 | |
| dc.identifier.uri | https://revistaschilenas.uchile.cl/handle/2250/167447 | |
| dc.description | Score reporting is one of the most critical steps to the valid use of test scores, yet end users are not necessarily aware of their relevance. Importantly, end users do not always possess the knowledge or instruments to evaluate the quality of a score report, as there is no explicit guidance in the literature that empowers them to do so. Score reports are sometimes accompanied with interpretive guides, that allows stakeholders to make better sense of the data, but that do not enable end users to develop independent and critical evaluations of the reports that they receive. To that end, in this study we analyze the evaluation form provided in the Hambleton and Zenisky (HZ) model for developing score reports, to understand to what extent this form is clear, useful, and meaningful to evaluate these across different contexts. Using a small scale focus group, we were able to document the main problems with the HZ form to evaluate score reports. We were also able to identify appropriate directions and modifications to the form, to ultimately conduct subsequent studies that allow us to develop an end-user evaluation for to assess the quality of score reports. | en-US |
| dc.description | El informe de resultados es uno de los pasos más críticos para el uso válido de pruebas estandarizadas, aun así, los usuarios de estas no están necesariamente conscientes de su relevancia. Es importante notar que los destinatarios no siempre poseen el conocimiento o los instrumentos para evaluar la calidad de un informe de resultados, ya que no hay una guía explícita en la literatura que los alienta a hacerlo. Los informes de resultados son algunas veces acompañados con guías de interpretación, que permite a los participantes interpretar los datos, pero que no les permite desarrollar una evaluación independiente y crítica de las evaluaciones recibidas en los informes. En este estudio analizamos la forma de evaluación proporcionada en el modelo de Hambleton y Zenisky (HZ) para el desarrollo de informes de resultados para entender hasta qué punto el formulario resulta claro, útil y valioso para evaluaciones dentro de distintos contextos. Se utilizó un grupo focal a pequeña escala donde se documentó los principales problemas con el formulario HZ para la evaluación de informes de resultados. Se pudo identificar modificaciones y directrices apropiadas para el formulario, para conducir, finalmente, estudios subsecuentes que permitan desarrollar una evaluación por parte de los usuarios para examinar la calidad de los informes de evaluación. | es-ES |
| dc.format | application/pdf | |
| dc.format | application/pdf | |
| dc.language | spa | |
| dc.language | eng | |
| dc.publisher | Facultad de Filosofía y Ciencias de la Educación de la Pontificia Universidad Católica de Chile | es-ES |
| dc.relation | http://pensamientoeducativo.uc.cl/index.php/pel/article/view/24977/20177 | |
| dc.relation | http://pensamientoeducativo.uc.cl/index.php/pel/article/view/24977/21643 | |
| dc.source | Pensamiento Educativo, Revista de Investigación Latinoamericana (PEL); Vol. 54 Núm. 2 (2017); 1-20 | es-ES |
| dc.source | 0719-0409 | |
| dc.subject | score reporting | en-US |
| dc.subject | testing | en-US |
| dc.subject | validity | en-US |
| dc.subject | educational measurement | en-US |
| dc.subject | informes de evaluación | es-ES |
| dc.subject | evaluación | es-ES |
| dc.subject | validación | es-ES |
| dc.subject | medición educacional | es-ES |
| dc.title | Empowering End Users to Evaluate Score Reports: Current Challenges and Proposed Solution | en-US |
| dc.title | Alentando los distintos actores a evaluar informes de resultados de pruebas estandarizadas: desafíos y propuestas | es-ES |
| dc.type | info:eu-repo/semantics/article | |
| dc.type | info:eu-repo/semantics/publishedVersion |
This item appears in the following Collection(s)
-
Pensamiento Educativo
[0-9]{4}