Tengo una tabla con un campo llamado titulo_universitario
que surgió en base a una encuesta realizada. Tiene aproximadamente un millón de registros.
El problema es que, como la encuesta se hizo 'a mano' y no con un menú desplegable o con opciones estandarizadas, cada uno puso el título como quiso.
Por ejemplo:
Doctor en ciencias economicas -> Doc.
Doctorado en Ciencias -> Cs. Eco
y así con muchas formas para llamar a un mismo título.
Tengo un archivo con los titulos que deberian corresponder a todos los registros, exporte el archivo a sql y lo hice tabla.
Realicé un left join
con la tabla de la encuesta y claro, la mayorìa no coincide con ninguno de los títulos estandarizados.
Utilicé DQS para realizar la limpieza pero la gran mayoría tiene un bajo porcentaje de coincidencia debido a que los títulos en muchos casos son largos y no coinciden en casi nada, con lo cual la mayoría de los valores los envía a 'Sugeridos' o 'Nuevos' y tengo que cambiarlos prácticamente a mano.
Quisiera saber si alguno ya se encontró con un problema similar y me podría ayudar con una mejor solución un poco mas automática ya que son aprox. un millón de registros para depurar.