1

Estoy normalizando una base de datos en MySQL y tengo que convertir un campo que se ingresaba manualmente a un campo FK que se relacione con una nueva tabla que debe llevar esos ingresos manuales pero sin que se repitan.

El problema que tengo es que, al ser ingresos manuales, hay muchas variaciones. Por ejemplo, tengo "Auto Rojo", "auto Rojo", "AUTO rojo ", etc. y solo debería tener un único registro.

Pongo un ejemplo con datos que estoy trabajando:

INSERT INTO corredor (nombre) VALUES ("MARCO ANTONIO ASTUDILLO GHO");
INSERT INTO corredor (nombre) VALUES ("MARCO ANTONIO ASTUDILLO GHO CORREDO");

INSERT INTO corredor (nombre) VALUES ("LILIENFELD CORREDORES DE  SEGUROS");
INSERT INTO corredor (nombre) VALUES ("LILIENFELD CORREDORES DE SEGUROS");

INSERT INTO corredor (nombre) VALUES ("FELIPE PAUL");
INSERT INTO corredor (nombre) VALUES ("FELIPE PAUL Y CIA LTDA");
INSERT INTO corredor (nombre) VALUES ("FELIPE PAUL Y CIA. LTDA");
INSERT INTO corredor (nombre) VALUES ("FELIPE PAUL Y CIA. LTDA.");
  • Anteriormente agrupé y exporté como inserts con workbench, de 7000 registros se agruparon en 400 aprox. La idea es que en la aplicación final el usuario no escriba y seleccione de la lista (o agregue si no está en ella).

¿Cuál sería una forma de limpiar estos campos y referenciarlos desde mi tabla original?

2
  • 2
    Creo que primeramente, para curarte en salud, podrías declarar la columna en la nueva tabla como case insensitive, de ese modo, no permitirá que sean ingresados dos valores con exactamente los mismos caracteres diferenciados por mayúsculas y minúsculas. Luego, para evitar que se ingresen datos con espacios en blanco de más podrías implementar un método que limpie los datos antes de ingresarlos a la bd. Para casos como el de FELIPE PAUL ... al ser difícil establecer un patrón de búsqueda, creo que no queda otra que hacer una depuración manual de los datos eliminando duplicados.
    – A. Cedano
    el 7 jun. 2017 a las 23:27
  • 2
    Coincido con @A.Cedano, aunque como la cantidad de registros es muy alta, en la depuración manual y en la aplicación final del usuario podrías ayudarte de un algoritmo para encontrar semejanzas como el de la distancia de Levenshtein
    – German AT
    el 7 jun. 2017 a las 23:32

1 respuesta 1

0

Si tienes 400 registros, lo que yo haría es: primero, convertir todo a mayúsculas (si te es aceptable), y hacer limpieza básica de strings: sacar espacios indeseados, y revisar caracteres "raros" (no alfabéticos). Después, agregar una columna temporaria para marcar de alguna maneras a los valores "aprobados", que no serán modificados y fundidos con otros (y que irán a parar a la lista). Después, para cada uno de los valores "no aprobados", listar : cantidad de corruencia y valor (incluyeddo aprobados y no) que, sin ser igual, tenga mínima distancia de Levenshtein). Manualmente, decidir qué hacer (modificarlos para igualarlos a otros, promoverlos a "aprobados", etc).

No estoy nada seguro de que esto te convenga hacerlo dentro de Mysql...

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.