Cognitive Interviews as a Technique for Instrument Adaptation in Educational Contexts
Entrevistas Cognitivas como Técnica para la Adaptación de Instrumentos en Contextos Educativos
Author
Sánchez, Magdalena
Veloso, Begoña
Subercaseaux, Joaquín
Abstract
The objective of the study presented in this article was to qualitatively evaluate the cognitive receptivity and general understanding of new questions for the Quality and Context of Education Questionnaires, using the cognitive interviewing technique. The use of this technique to evaluate the receptivity and comprehension to questions on non-academic aspects (school climate, self-esteem and motivation, among others) by different actors is described. A non-probabilistic sample was used, according to predefined quotas, in accordance with heterogeneity variables, which allowed the selection of 20 schools in the Metropolitan, Antofagasta and Biobío regions of Chile. The participants were students of these schools in 4th and 8th grade (78 and 48, respectively), teachers (19) and parents (28) of the same grades, selected by convenience. The 1,059 units of analysis were distributed in 20 cognitive interview guidelines, allowing a limited number of items per application, safeguarding the quality of the guideline and avoiding over-demanding of the interviewees. The analysis of information was organized in three stages: (a) data definition, (b) data processing and (c) identification of findings. The application of cognitive interviews made it possible to identify comprehension difficulties per question and its components (items and statements) in the various actors, and problems of relevance derived from the assumptions that several items or statements contained, providing suggestions for adapting these questions. The process confirms the relevance of the technique for piloting and adapting questionnaire questions in the educational context. El objetivo del estudio presentado en este artículo fue evaluar cualitativamente la receptividad cognitiva y entendimiento general de preguntas nuevas para los Cuestionarios de Calidad y Contexto de la Educación, mediante la técnica entrevistas cognitivas. Se describe el uso de esta técnica para evaluar la receptividad y entendimiento a preguntas sobre aspectos no académicos (clima escolar, autoestima y motivación, entre otros) por parte de distintos actores. Se trabajó con una muestra no probabilística, según cuotas predefinidas, de acuerdo con variables de heterogeneidad, lo cual permitió seleccionar 20 establecimientos en las regiones Metropolitana, de Antofagasta y del Biobío. Los participantes fueron estudiantes de estos establecimientos de 4° y 8° básico (78 y 48, respectivamente), docentes (19) y apoderados (28) de los mismos niveles, seleccionados por conveniencia. Las 1.059 unidades de análisis fueron distribuidas en 20 pautas de entrevistas cognitivas, permitiendo un número acotado de ítems por aplicación, resguardando la calidad de la pauta y evitando la sobre exigencia de los entrevistados. El análisis de información se organizó en tres etapas: (a) definición de datos, (b) procesamiento de datos y (c) identificación de hallazgos. La aplicación de entrevistas cognitivas permitió identificar dificultades de comprensión por pregunta y sus componentes (ítems y enunciados) en los diversos actores, y problemas de pertinencia derivados de los supuestos que varios ítems o enunciados contenían, entregándose sugerencias para adaptar dichas preguntas. El proceso confirma la atingencia de la técnica para el pilotaje y adaptación de preguntas de un cuestionario en el contexto educativo.