Aprender a programar computadores es un proceso difícil para los estudiantes novatos y un desafío a las metodologías empleadas por los docentes. En este artículo se presenta una plataforma de evaluación automática que apoya el proceso de enseñanza/aprendizaje en cursos introductorios de programación de computadores para estudiantes de ingeniería de la Universidad de Concepción. Esta plataforma utiliza mecanismos que combinan análisis estático/dinámico y aplican evaluación de comprensión/análisis en línea, permitiendo una retroalimentación personalizada a los alumnos. En este trabajo se presentan los criterios usados para crear secuencias didácticas de problemas y una forma de aplicarlas efectivamente mediante la evaluación automática. Los resultados obtenidos después de seis años de aplicación muestran que la evaluación automática afecta positivamente la motivación, el desempeño y la autoeficacia de los alumnos. La metodología utilizada para estudiar la efectividad de la plataforma incluye análisis cualitativo y cuantitativo. Los aspectos cualitativos se extraen mediante la observación del comportamiento de los estudiantes durante el proceso de aprendizaje, mientras que el análisis cuantitativo está basado en los datos de los estudiantes registrados por la plataforma. Con el fin de acumular información cuantitativa, aplicamos distintos experimentos basados en grupos de estudiantes de control y grupos experimentales.