3

Bien, mi situación es la siguiente, tengo una Base de datos algo grande, y existen una gran cantidad de registros duplicados (en realidad hay muchos que se repiten mas de dos veces pero no se como llamarle a eso). Lo que busco es una consulta que me ayude a buscar, o quizas eliminar directamente los registros duplicados y dejandome solamente uno. Hasta ahora tengo la siguiente consulta:

SELECT email, COUNT(*) Total
FROM usuarios
GROUP BY email
HAVING COUNT(*) > 1

La cual me selecciona los registros que estan repetidos mas de una vez, o en este caso, los registros que tienen el mismo email mas de una vez. Esta consulta me arroja nada mas y nada menos que 58.680 resultados, y pues, resulta bastante engorroso tener que borrarlos uno por uno. Tengo la sensación de que esta consulta se puede extender para lograr lo que quiero pero no tengo idea de como hacerlo, espero puedan auxiliarme. Si sirve de algo mi gestor de Base de Datos es Phpmyadmin 4.7.4.

4
  • Tu consulta funciona bien validando la cantidad de registros que encuentre, pero solo para la columna email, que otros campos duplicados te interesa validar, serviría la estructura completa de la tabla el 20 mar. 2018 a las 0:43
  • @WalterCordova Pues la tabla solo posee 3 columnas. La tabla se llama usuarios y sus columnas son id,nombre,email
    – Jalkhov
    el 20 mar. 2018 a las 0:48
  • 1
    Supongamos que tienes [id=1, nombre=juan, [email protected]] y [id=2, nombre=pedro, [email protected]], ¿Cual de los dos eliges para borrar? el 20 mar. 2018 a las 2:53
  • La verdad no importa cual borre, lo único que requiero es que solo exista en email por registro. Nada de día o mas enzima iguales.
    – Jalkhov
    el 20 mar. 2018 a las 9:32

2 respuestas 2

13

Hay varias formas de hacer lo que quieres.

I. Mediante JOIN:

Esta técnica consiste en unir la tabla consigo misma mediante JOIN. Y usar una comparación combinada de la columna id (que se supone no es repetida nunca) y la columna repetida (email en este caso).

La consulta sería esta:

DELETE t1 FROM usuarios t1
INNER JOIN usuarios t2 
WHERE t1.id > t2.id AND t1.email = t2.email; 

Veamos un ejemplo completo:

VER DEMO EN REXTESTER

-- I. Datos de prueba 

CREATE TABLE usuarios (
    id INT PRIMARY KEY AUTO_INCREMENT,
    first_name VARCHAR(50) NOT NULL,
    last_name VARCHAR(50) NOT NULL, 
    email VARCHAR(255) NOT NULL
);

INSERT INTO usuarios (first_name,last_name,email) 
VALUES ('Pedro ','Pérez','[email protected]'),
       ('Juan','Roa','[email protected]'),
       ('Santiago','Guerrero','[email protected]'),
       ('Juan','Roa','[email protected]'),
       ('Andrés ','Brito','[email protected]'),
       ('Juan','Roa','[email protected]'),
       ('Santiago','Guerrero','[email protected]'),
       ('Felipe','Castro','[email protected]')
       ;

/* Prueba de datos antes de borrar*/

SELECT 
    id, email
FROM usuarios
ORDER BY email;    

-- II. Borrar mediante JOIN

DELETE t1 FROM usuarios t1
INNER JOIN usuarios t2 
WHERE t1.id > t2.id AND t1.email = t2.email; 


/* Prueba de datos después de borrar*/

SELECT 
    id, email
FROM usuarios
ORDER BY id;    

-- III. Restringir duplicados

ALTER TABLE usuarios ADD UNIQUE (email);

/* 
    Prueba de la nueva restricción creada:
    al descomentar el código tendremos el siguiente error:
    Error(s), warning(s): Duplicate entry '[email protected]' for key 'email'
*/

-- INSERT INTO usuarios (first_name,last_name,email) VALUES ('Pedro ','Pérez','[email protected]');

Resultados:

Antes de borrar los duplicados:

id  email
5   [email protected]
8   [email protected]
3   [email protected]
7   [email protected]
1   [email protected]
2   [email protected]
4   [email protected]
6   [email protected]

Después de borrar los duplicados:

id  email
1   [email protected]
2   [email protected]
3   g[email protected]
5   [email protected]
8   [email protected]

Nótese que aquí se conservaron los valores cuyo id era menor. Si se quieren conservar aquellos cuyo id sea mayor, sólo hay que poner el WHERE de la consulta así: ... WHERE t1.id < t2.id AND t1.email = t2.email

Nótese que aplicando esta técnica, habrá saltos en la columna id. Si se quiere una tabla con mejor orden en dicha columna, ver el método mencionado a continuación.


II. Mediante la creación de una nueva tabla

Esta técnica consiste en crear una nueva tabla con la misma estructura de la tabla original. Insertar los registros desde la tabla con duplicados aplicando un filtro que evite los duplicados (GROUP BY en este caso) y luego borrar la tabla vieja, renombrando la nueva.

1. Creamos una copia vacía de la tabla usuarios

CREATE TABLE usuarios_copy LIKE usuarios;

2. Insertamos en la nueva tabla todos los registros, agrupando por la columna repetida

Hay dos formas de hacer esto:

  • Si quieres tener una nueva tabla con la columna id ordenada, puedes nombrar explícitamente cada columna, indicando el valor NULL para la columna auto incremental. Esto permitirá que dicha columna obtenga su valor de forma natural:

       INSERT INTO usuarios_copy   
            SELECT 
                NULL,
                first_name,
                last_name,
                email 
             FROM usuarios 
             GROUP BY email;     
    
  • Si no te importa tener tantos saltos en la columna id, puedes hacer la inserción así:

       INSERT INTO usuarios_copy   
            SELECT *
             FROM usuarios 
             GROUP BY email; 
    

3. Borramos la tabla vieja y renombramos la nueva

DROP TABLE usuarios;
ALTER TABLE usuarios_copy RENAME TO usuarios;

En la prueba de datos, obtendrás este resultado. Nótese que aquí la columna id recobró su orden normal:

id  email
1   [email protected]
2   [email protected]
3   g.s[email protected]
4   [email protected]
5   [email protected]

Veamos un ejemplo completo aplicando esta posibilidad:

VER DEMO EN REXTESTER


III. Resolver el problema de raíz

De poco servirá hacer todo el trabajo anterior, si no cambiamos el diseño de la tabla, haciendo que la columna email sea UNIQUE, o sea, que no permita emails duplicados.

Esto se lograría con una sola línea de código, la cual hay que ejecutar una vez nuestra tabla esté limpia de duplicados:

ALTER TABLE usuarios ADD UNIQUE (email);

Si ahora nosotros intentamos insertar algún duplicado:

INSERT INTO usuarios (first_name,last_name,email) 
VALUES ('Pedro ','Pérez','[email protected]');

El DBMS nos lo impedirá, diciendo lo siguiente:

Duplicate entry '[email protected]' for key 'email'

NOTA: Puede que en una tabla como esta, haya un grupo de columnas que sean UNIQUE, en ese caso, habría que crear un índice único combinado... Pero ese es otro asunto. Solamente quería indicar que este tipo de problemas hay que resolverlos de raíz.

9
  • Excelente, me hafuncionado el método 2. Entonces, una ultima duda, al aplicar el método 3, no importa si ya tengo una columna como clave primaria? Puedo aplicarle ese método a la columna email sin ningun problema?
    – Jalkhov
    el 21 mar. 2018 a las 0:46
  • He intentado realizar la consulta en cuestion y me lanza el siguiente error #1170 - Columna BLOB column 'email' usada en especificación de clave sin tamaño de la clave
    – Jalkhov
    el 21 mar. 2018 a las 0:59
  • 1
    @Jalkhov una cosa es la clave primaria y otra cosa es la restricción UNIQUE. Tú puedes tener una clave primaria y aparte una o varias columnas como UNIQUE. Lo que hace UNIQUE es evitar que se repitan datos de las columnas especificadas. En cuanto al error que te da, ¿qué tipo de dato es la columna email en la tabla? Espero que no la tengas declarada del tipo BLOB o del tipo TEXT.
    – A. Cedano
    el 21 mar. 2018 a las 1:02
  • 1
    @Jalkhov como su nombre lo indica, el tipo TEXT es para almacenar texto, es decir, párrafos completos, miles y miles de caracteres. Por ejemplo si tienes que guardar un artículo completo, entonces sí convendría usar un campo del tipo TEXT pero para el email, con un campo del tipo VARCHAR(100) o VARCHAR(150) siendo generosos, bastaría, porque un email no creo que pase de 100 caracteres. Si tú usas TEXT para guardar un email estás desperdiciando espacio, y si tienes que poner un índice en ese campo tendrás el problema que se te está presentando ahora.
    – A. Cedano
    el 21 mar. 2018 a las 10:09
  • 1
    @Jalkhov todo parece indicar que si. Puedes probar a insertar un email repetido. Sí ha funcionado te impedirá agregar ese dato. O bien puedes ejecutar un DESCRIBE tabla y te mostrará datos sobre la tabla, incluyendo los índices.
    – A. Cedano
    el 21 mar. 2018 a las 23:39
4

Basicamete este es tu problema

introducir la descripción de la imagen aquí

para solucionarlo :

Primer paso : Desactiva el safe updates mode ( esto si utilizas Workbench ) lo puedes hacer desde el menu Edit -> preferences

introducir la descripción de la imagen aquí

Segudo paso : Crea una tabla temporal con los correos únicos

create temporary table t1
select * from usuarios group by email;

te quedara asi ( sin correos repetidos ) introducir la descripción de la imagen aquí

Tercer Paso : Borrar repetidos

DELETE FROM usuarios
WHERE id NOT IN ( SELECT id FROM t1 );

listo con eso borrarías los registros con correos repetido.

7
  • La verdad no he logrado comprender la consulta, ¿Podrías explicarme cual sería la salida exactamente?
    – Jalkhov
    el 20 mar. 2018 a las 1:53
  • Vale mira la primera consulta creara una tabla temporal. Con todos los id de los registros que tengan correos unicos.(por el grupo by correo) la segunda consulta borrara los registros cuyos id no estén en la tabla temporal que acabamos de crear ( es decir los repetidos)
    – W Aleman
    el 20 mar. 2018 a las 2:01
  • Si haces un selec count() from t1. Deberá darte la misma cantidad que sin hicieras un SELECT email, COUNT() Total FROM usuarios GROUP BY email.
    – W Aleman
    el 20 mar. 2018 a las 2:04
  • No se si me doy a entender.
    – W Aleman
    el 20 mar. 2018 a las 2:05
  • 1
    ya esta corregida y documentada la respuesta
    – W Aleman
    el 20 mar. 2018 a las 10:02

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.