Introducción: para revalidar su título en Chile, los médicos graduados en el exterior (MGEs) deben someterse a un examen compuesto de un módulo teórico y otro práctico. Para realizar este último, la Universidad Mayor utiliza la modalidad OSCE. Este formato garantiza apropiados grados de validez, fiabilidad y objetividad si su diseño y aplicación son meticulosos y detallados. Sus resultados deben ser sometidos sistemáticamente a un control de calidad. Este último, un componente crucial de toda evaluación de alta trascendencia, se menciona escasamente en la literatura biomédica nacional. Nuestro objetivo es describir aquí el diseño, administración y análisis psicométrico de un OSCE destinado a evaluar las competencias quirúrgicas generales de (MGEs). Métodos: el OSCE fue diseñado por un equipo multidisciplinario. Se crearon diez estaciones que estaban en correspondencia con las competencias quirúrgicas generales esperadas en un graduado. El análisis psicométrico de los resultados incluyó el uso del coeficiente alfa de Cronbach y la correlación de Pearson. Resultados: los veinte MGEs aprobaron el examen con puntajes entre 64,8 y 96,0%. El coeficiente de Cronbach global fue 0,67. La correlación entre los puntajes de cada estación con el del OSCE global alcanzó significación estadística en todos los casos. Conclusiones: un OSCE que evalúa la competencia quirúrgica general de un médico graduado es factible. Las propiedades psicométricas del examen fueron satisfactorias; sin embargo es aconsejable perfeccionar aún más el proceso de elaboración del examen así como los casos empleados y otros elementos claves.