La presente investigación se enmarca en el campo de la Lingüística Aplicada a la Enseñanza de Español Lengua Extranjera, en lo que respecta a la validez y fiabilidad de pruebas orales con fines de clasificación. La complejidad viene determinada, en primer lugar, por los numerosos desafíos a los que todavía se enfrenta la evaluación de la lengua oral, principalmente en el campo de los exámenes de clasificación en ELE. En segundo lugar, por la escasez de investigaciones que han analizado la validez de contenido de escalas orales y a los desafíos a los que se enfrentan. A la luz de estas problemáticas, este artículo examina la validez de contenido de la escala de evaluación de una prueba oral de clasificación en ELE combinando la técnica del juicio de expertos con las observaciones realizadas a las actuaciones lingüísticas de alumnos durante el pilotaje del examen. Además, se calcula la consistencia interna y la fiabilidad interevaluador mediante los coeficientes Alfa de Cronbach y Kappa de Cohen. Los análisis cualitativos y cuantitativos revelaron la pertinencia de la metodología propuesta y permitieron concluir que la escala de evaluación diseñada es válida y fiable.