El presente artículo expone los resultados de una investigación que buscó evaluar la coherencia textual en forma automática, utilizando el método de Análisis Semántico Latente, en el dominio formado por noticias policiales. Con este fin se construyó una herramienta prototipo, empleando únicamente software libre, que se puede obtener desde Internet. Para validar el funcionamiento del prototipo se comparó su evaluación con la realizada por ocho evaluadores humanos: cuatro periodistas y cuatro profesores de español con estudios de postgrado en lingüística.