1

Tengo una tabla con un campo llamado titulo_universitario que surgió en base a una encuesta realizada. Tiene aproximadamente un millón de registros.

El problema es que, como la encuesta se hizo 'a mano' y no con un menú desplegable o con opciones estandarizadas, cada uno puso el título como quiso.

Por ejemplo:

Doctor en ciencias economicas  -> Doc. 

Doctorado en Ciencias  ->  Cs. Eco

y así con muchas formas para llamar a un mismo título.

Tengo un archivo con los titulos que deberian corresponder a todos los registros, exporte el archivo a sql y lo hice tabla.

Realicé un left join con la tabla de la encuesta y claro, la mayorìa no coincide con ninguno de los títulos estandarizados.

Utilicé DQS para realizar la limpieza pero la gran mayoría tiene un bajo porcentaje de coincidencia debido a que los títulos en muchos casos son largos y no coinciden en casi nada, con lo cual la mayoría de los valores los envía a 'Sugeridos' o 'Nuevos' y tengo que cambiarlos prácticamente a mano.

Quisiera saber si alguno ya se encontró con un problema similar y me podría ayudar con una mejor solución un poco mas automática ya que son aprox. un millón de registros para depurar.

1
  • Hola Maria. El pedir una ayuda general conlleva a múltiples respuestas todas válidas y eso es muy amplio. Muéstranos lo que has intentado para que sobre eso podamos ayudarte a arreglarlo. Un saludo
    – lois6b
    Commented el 26 jul. 2017 a las 8:02

2 respuestas 2

2

La única opción que tienes es hacer una consulta de los títulos que no enlazan con tu tabla de títulos, agruparlos (se supone que una persona debería de escribir más o menos lo mismo siempre que le llegue alguién con dicho título) y hacer un update posterior para unificar los nombres de títulos.

Puedes crearte una tabla de modificaciones con dos campos "titulo mal", "titulo bien" y hacer dicho update tomando los datos de dicha tabla, para así agilizar el proceso y no tener que modificar a mano el update cada vez, con el peligro que puede tener hacer muchos updates manualmente.

2
  • Eso fue lo primero que intenté! Hice un select distinct de los nombres de titulos agrupados y enlazados con la tabla de titulos y no creerias la cantidad de registros que me dio. De todas formas es buena tu idea! El problema es mi tabla que, al ser tan tan dispar, no va a quedar otra que hacer el trabajo un poco automatico y un poco artesanal. Saludos y gracias!
    – merisavino
    Commented el 26 jul. 2017 a las 12:29
  • Cuando hay datos insertados manualmente no hay otra opción
    – NetVicious
    Commented el 27 jul. 2017 a las 14:20
2

Si tienes los correctos en una tabla a parte, no te queda otra que ir registro a registro comprobando, y corrigiendo aquellos que esten bien.

PseudoCodigo:

Select titulo_univ
from tabla_registros_malos 
where titulo_univ not in (select titulo_univ fron registros_buenos)

Yo no sabría hacerlo puramente con sql, así que puede que lo mejor sea que te ayudes con js o algo por el estilo (aunque dependerá de tu manejo en los mismos)

Con eso tendrías un listado de todos los titulos que no sean como los que tienes. Después, los intentaría estandarizar lo máximo posible.

Algo estilo:

lowercase() // para pasar todo a minusculas

O algo que te haga la primera letra mayuscula y las demás minúsculas (se que php tiene algo así y seguramente todos los lenguajes)

Hazte una tabla de "similares" y correcto: Por ejemplo "Doctorado" pues que tenga Dc, Doctor, Doctora, Doc, Doctorada, Doctorado Yo lo haría con json:

{
  "doctorado": [doc, dc, doctora, doctor, doctorado],
  "ciencias": [cienc, ciencias]
}

Luego iría reemplazando las coincidencias, que hubiera con los elementos entre [] por su correspondiente clave. Seguramente con eso quitarías unos cuantos.

Si aun te quedan muchos tendrás que mirarlos por encima y ver cuales se repiten más por ejem, si mucho ponen Cien en lugar de Ciencias, y añadirlo al json, y volver a pasar los resultados por la criba.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.