Este artículo muestra los principales resultados de una investigación desarrollada en la Comunidad Autónoma de Andalucía (España). Se centra en el análisis de las pruebas estandarizadas utilizadas en un proceso de Evaluación Diagnóstica de competencias en los centros escolares. Se exponen las fortalezas y debilidades detectadas; se resalta la falta de coherencia existente entre el marco teórico previo y el diseño de las pruebas; y se apunta hacia limitaciones que dichas pruebas tienen para evaluar la calidad de los Sistemas, así como para medir competencias.