0

tengo un dataframe con 36 columnas a las cuales les estoy aplicando el siguiente código para verificar si hay datos duplicados.

df_limpios.duplicated().sum()
out: 21

df_limpios.duplicated(keep="first")
out: ...
1487     True
1488     True
1489    False
1490     True
1491     True

Verificando esta información procedi solo a revisar las filas 1487 y 1488 por facilidad, el resultado que me da es el siguiente:

| NumEmpleado | Edad | Retirado | ViajesDeNegocio | TarifaSalarial | Departamento           | DistanciaDesdeCasa | Educacion | CampoEducacion       | EmpleadosACargo | NivelSatisfaccion | Genero    | SalarioPorHora | NivelInvolucramiento | NivelResponsabilidad | Rol                     | SatisfaccionTrabajo | EstadoCivil | SalarioMensual | TarifaMensual | NumEmpresasDondeTrabaja | MasDe18Horas | HorasExtra | PorcentajeIncrementoSalarioUltimoAnnio | NivelRendimiento | SatisfaccionEmpresa | HorasEstandar | PlanSalarioComplementario | TotalAnniosTrabajados | FormacionUltimoAnnio | BalanceTrabajoVida | FechaIngresoEmpresa | AnniosEnEmpresa | AnniosRolActual | AnniosDesdeUltimaPromocion | AnniosActualDirector |
|-------------|------|----------|-----------------|----------------|------------------------|--------------------|-----------|----------------------|-----------------|-------------------|-----------|---------------|----------------------|----------------------|-------------------------|---------------------|-------------|---------------|--------------|--------------------------|--------------|------------|-------------------------------------|------------------|---------------------|---------------|---------------------------|----------------------|----------------------|--------------------|----------------------|------------------|-----------------|-------------------------------|----------------------|
| 1201        | 23   | Si       | Viaja-Pocas-Veces | 427           | Ventas                 | 7                  | 3         | Ciencias de la vida  | 1.0             | 1702              | Masculino | 99            | 3                    | 1                    | Representante de ventas | 4                   | Divorciado  | 2275          | 25103        | 1                        | S            | Si         | 21                                  | 4                | 2                   | 80             | 1                        | 3/06/2018           | 3                  | 2                  | 3                   | 5/06/2018        | 3               | 2               | 0                              | 2                    |
| 1470        | 26   | Si       | Viaja-Pocas-Veces | 1357          | Investigacion & Desarrollo | 25                 | 3         | Ciencias de la vida  | 1.0             | 55                | Masculino | 48            | 1                    | 1                    | Tecnico de laboratorio  | 3                   | Soltero     | 2293          | 10558        | 1                        | S            | No         | 12                                  | 3                | 3                   | 80             | 0                        | 3/04/2020           | 1                  | 0                  | 0                   | 3/04/2020        | 1               | 0               | 0                              | 1                    |
| 1471        | 20   | Si       | Viaja-Frecuentemente | 871           | Investigacion & Desarrollo | 6                  | 3         | Ciencias de la vida  | 1.0             | 137               | Femenino  | 66            | 2                    | 1                    | Tecnico de laboratorio  | 4                   | Soltero     | 2926          | 19783        | 1                        | S            | Si         | 18                                  | 3                | 2                   | 80             | 0                        | 28/05/2020          | 1                  | 0                  | 1                   | 28/05/2020       | 1               | 0               | 0                              | 0                    |
| 1472        | 26   | Si       | Viaja-Pocas-Veces | 1449          | Investigacion & Desarrollo | 16                 | 4         | Medicina             | 1.0             | 394               | Masculino | 45            | 3                    | 1                    | Tecnico de laboratorio  | 2                   | Divorciado  | 2373          | 14180        | 2                        | S            | Si         | 13                                  | 3                | 4                   | 80             | 1                        | 18/10/2018          | 3                  | 2                  | 0                   | 18/10/2018       | 3               | 2               | 0                              | 2                    |
| 1473        | 26   | Si       | Viaja-Pocas-Veces | 950           | Ventas                 | 4                  | 4         | Mercadeo             | 1.0             | 401               | Masculino | 48            | 2                    | 2                    | Ejecutivo de ventas    | 4                   | Soltero     | 5828          | 8450         | 1                        | S            | Si         | 12                                  | 3                | 2                   | 80             | 0                        | 26/09/2013          | 8                  | 7                  | 7                   | 26/09/2013       | 8               | 7               | 0                              | 4                    |
| 1474        | 26   | Si       | Viaja-Frecuentemente | 575           | Investigacion & Desarrollo | 3                  | 1         | Nivel tecnico        | 1.0             | 510               | Masculino | 73            | 3                    | 1                    | Cientifico de investigacion | 1                   | Soltero     | 3102          | 6582         | 0                        | S            | No         | 22                                  | 4                | 3                   | 80             | 0                        | 2/08/2015           | 6                  | 4                  | 0                   | 2/08/2015        | 6               | 4               | 0                              | 4                    |
| 1475        | 26   | Si       | Viaja-Frecuentemente | 426           | Talento Humano          | 17                 | 4         | Ciencias de la vida  | 1.0             | 608               | Femenino  | 58            | 3                    | 1                    | Talento Humano         | 3                   | Divorciado  | 2741          | 22808        | 0                        | S            | Si         | 11                                  | 3                | 2                   | 80             | 1                        | 15/04/2014          | 7                  | 7                  | 1                   | 15/04/2014       | 7               | 1               | 0                              | 0                    |
| 1476        | 26   | Si       | Viaja-Pocas-Veces | 471           | Investigacion & Desarrollo | 24                 | 3         | Nivel tecnico        | 1.0             | 622               | Masculino | 66            | 1                    | 1                    | Tecnico de laboratorio  | 4                   | Soltero     | 2340          | 23213        | 1                        | S            | Si         | 18                                  | 3                | 2                   | 80             | 0                        | 2/03/2020           | 1                  | 0                  | 0                   | 2/03/2020        | 1               | 0               | 0                              | 0                    |
| 1477        | 20   | Si       | Viaja-Pocas-Veces | 1362          | Investigacion & Desarrollo | 10                 | 1         | Medicina             | 1.0             | 701               | Masculino | 32            | 3                    | 1                    | Cientifico de investigacion | 3                   | Soltero     | 1009          | 26999        | 1                        | S            | Si         | 11                                  | 3                | 4                   | 80             | 0                        | 23/07/2020          | 1                  | 0                  | 1                   | 23/07/2020       | 1               | 1               | 0                              | 1                    |
| 1478        | 26   | Si       | Viaja-Pocas-Veces | 1146          | Ventas                 | 8                  | 3         | Nivel tecnico        | 1.0             | 796               | Masculino | 38            | 2                    | 2                    | Ejecutivo de ventas    | 1                   | Soltero     | 5326          | 3064         | 6                        | S            | No         | 17                                  | 3                | 3                   | 80             | 0                        | 22/09/2017          | 4                  | 3                  | 1                   | 22/09/2017       | 4               | 1               | 1                              | 2                    |
| 1480        | 26   | Si       | Viaja-Frecuentemente | 887           | Investigacion & Desarrollo | 5                  | 2         | Medicina             | 1.0             | 848               | Femenino  | 88            | 2                    | 1                    | Cientifico de investigacion | 3                   | Casado      | 2366          | 20898        | 1                        | S            | Si         | 14                                  | 3                | 1                   | 80             | 1                        | 2/07/2013           | 8                  | 7                  | 1                   | 2/07/2013        | 8               | 7               | 1                              | 7                    |
| 1481        | 20   | Si       | Viaja-Pocas-Veces | 500           | Ventas                 | 2                  | 3         | Medicina             | 1.0             | 922               | Femenino  | 49            | 2                    | 1                    | Representante de ventas | 3                   | Soltero     | 2044          | 22052        | 1                        | S            | No         | 13                                  | 3                | 4                   | 80             | 0                        | 5/03/2019           | 2                  | 2                  | 0                   | 5/03/2019        | 2               | 2               | 0                              | 2                    |
| 1482        | 20   | Si       | Viaja-Pocas-Veces | 129           | Investigacion & Desarrollo | 4                  | 3         | Nivel tecnico        | 1.0             | 960               | Masculino | 84            | 3                    | 1                    | Tecnico de laboratorio  | 1                   | Soltero     | 2973          | 13008        | 1                        | S            | No         | 19                                  | 3                | 2                   | 80             | 0                        | 10/06/2020          | 1                  | 0                  | 0                   | 10/06/2020       | 1               | 0               | 0                              | 0                    |
| 1483        | 20   | Si       | Viaja-Pocas-Veces | 1097          | Investigacion & Desarrollo | 11                 | 3         | Medicina             | 1.0             | 1016              | Femenino  | 98            | 2                    | 1                    | Cientifico de investigacion | 1                   | Soltero     | 2600          | 18275        | 1                        | S            | Si         | 15                                  | 3                | 1                   | 80             | 0                        | 4/03/2020           | 1                  | 0                  | 0                   | 4/03/2020        | 1               | 0               | 0                              | 0                    |
| 1484        | 26   | Si       | No-Viaja        | 265           | Ventas                 | 29                 | 2         | Medicina             | 1.0             | 1037              | Masculino | 79            | 1                    | 2                    | Ejecutivo de ventas    | 1                   | Soltero     | 4969          | 21813        | 8                        | S            | No         | 18                                  | 3                | 4                   | 80             | 0                        | 16/02/2019          | 2                  | 2                  | 2                   | 16/02/2019       | 2               | 2               | 2                              | 2                    |
| 1485        | 26   | Si       | Viaja-Frecuentemente | 342           | Investigacion & Desarrollo | 2                  | 3         | Ciencias de la vida  | 1.0             | 1053              | Masculino | 57            | 3                    | 1                    | Cientifico de investigacion | 1                   | Casado      | 2042          | 15346        | 6                        | S            | Si         | 14                                  | 3                | 2                   | 80             | 1                        | 3/08/2018           | 3                  | 2                  | 1                   | 3/08/2018        | 3               | 2               | 1                              | 2                    |
| 1486        | 20   | Si       | Viaja-Frecuentemente | 769           | Ventas                 | 9                  | 3         | Mercadeo             | 1.0             | 1077              | Femenino  | 54            | 3                    | 1                    | Representante de ventas | 4                   | Soltero     | 2323          | 17205        | 1                        | S            | Si         | 14                                  | 3                | 2                   | 80             | 0                        | 3/03/2019           | 2                  | 2                  | 0                   | 3/03/2019        | 2               | 2               | 0                              | 2                    |
| 1487        | 26   | Si       | Viaja-Pocas-Veces | 1330          | Investigacion & Desarrollo | 21                 | 3         | Medicina             | 1.0             | 1107              | Masculino | 37            | 3                    | 1                    | Tecnico de laboratorio  | 3                   | Divorciado  | 2377          | 19373        | 1                        | S            | No         | 20                                  | 4                | 3                   | 80             | 1                        | 14/09/2020          | 1                  | 1                  | 0                   | 14/09/2020       | 1               | 0               | 0                              | 0                    |
| 1488        | 23   | Si       | Viaja-Pocas-Veces | 1243          | Investigacion & Desarrollo | 6                  | 3         | Ciencias de la vida  | 1.0             | 811               | Masculino | 63            | 4                    | 1                    | Tecnico de laboratorio  | 1                   | Casado      | 1601          | 3445         | 1                        | S            | Si         | 21                                  | 4                | 3                   | 80             | 2                        | 5/09/2021           | 0                  | 0                  | 0                   | 5/09/2021        | 0               | 0               | 0                              | 0                    |
| 1490        | 26   | Si       | Viaja-Pocas-Veces | 920           | Talento Humano          | 20                 | 2         | Medicina             | 1.0             | 1818              | Femenino  | 69            | 3                    | 1                    | Talento Humano         | 2                   | Casado      | 2148          | 6889         | 0                        | S            | Si         | 11                                  | 3                | 3                   | 80             | 0                        | 16/11/2016          | 5                  | 1                  | 1                   | 16/11/2016       | 5               | 1               | 1                              | 4                    |
| 1491        | 23   | Si       | Viaja-Pocas-Veces | 1320          | Investigacion & Desarrollo | 8                  | 1         | Medicina             | 1.0             | 1684              | Masculino | 93            | 2                    | 1                    | Tecnico de laboratorio  | 3                   | Soltero     | 3989          | 20586        | 1                        | S            | Si         | 11                                  | 3                | 1                   | 80             | 0                        | 28/01/2016          | 5                  | 4                  | 1                   | 28/01/2016       | 5               | 4               | 1                              | 2                    |



Bueno en general las lineas 1487 y 1488 no son similares en ningún sentido, si tienen columnas con datos similares, pero la fila en general no es similar a la otra, entonces.

Tengo entendido que el metodo duplicated selecciona las observaciones iguales dentro del dataframe, pero no sé si esto es correcto o no, y no sé por qué sucede que me seleccione filas que es evidente que no son iguales. De antemano, gracias por la ayuda.

2
  • 1
    El método duplicated marca como True los elementos repetidos, pero no necesariamente son consecutivos por lo que necesitarías ver si las filas que estás comparando existen tal cual en alguna otro índice anterior. el 21 jul. a las 5:26
  • 1
    Buen día, si alguna respuesta te fue útil no olvides aceptarla, de esa forma ayudas a otros usuarios a encontrar la solución a preguntas similares y al mismo tiempo ayudas a la comunidad a mantener abiertas únicamente las preguntas que no han sido resueltas. ¿Qué debo hacer cuando alguien contesta mi pregunta?. el 24 jul. a las 1:46

2 respuestas 2

1

Buen día,

El método pandas.DataFrame.duplicated con el argumento keep = True devolverá como False los elementos únicos y como True los elementos repetidos. Pero algo importante es que los elementos repetidos no necesariamente tienen que ser consecutivos.

En tu ejemplo el índice 1487 podría ser un duplicado de cualquier otro índice anterior.

Cree un ejemplo genérico para explicarlo mejor:

import pandas as pd

# Dataframe genérico
df = pd.DataFrame({'A': [1,2,2,2], 'B': ['a', 'b', 'a', 'b']})

# Imprimir duplicados
print(df.duplicated(keep = 'first'))

Esto crea el siguiente dataframe:

   A  B
0  1  a
1  2  b
2  2  a
3  2  b

Como se puede ver, las fílas con los índices 1 y 3 son idénticas, por lo que el índice 3 es un duplicado del índice 1.

Y el resultado de duplicated(keep = True) imprime:

0    False
1    False
2    False
3     True
dtype: bool

Es por eso que en tu ejemplo deberías comparar alguna de tus filas que son duplicados con todas las anteriores para saber que otra fila contiene exactamente los mismos datos.

Ahora, si lo que quieres es seleccionar todas las filas que no sean duplicados, entonces puedes utilizar pandas.DataFrame.loc en combinación con el símbolo ~ que es un not y negaría o invertiría la selección, por lo que en lugar de seleccionar los duplicados, seleccionaría las filas con valores únicos.

Ejemplo:

print(df.loc[~df.duplicated(keep = 'first')])

Esto imprime:

   A  B
0  1  a
1  2  b
2  2  a
3
  • Entiendo que los repetidos no son contiguos, el problema radica es que de 1400 observaciones me dice que 21 son repetidos, en ellos por ejemplo reviso y ninguna de las opciones que me marca como duplicados es duplicados. Entonces no sé por qué razón dice que es duplicado cuando no lo es. Ahora, estoy filtrando los datos con un subdataframe así = df.loc[(df.duplicated())] esto me muestra 21 resultados, pero ninguno de ellos esta repetido uno con el otro, para ello estoy verificando la columna tarifa salarial, pero no son coincidente precios. el 31 jul. a las 1:46
  • 1
    Buen día @OscarNavarrete, df.duplicated() te va a mostrar los que sean duplicados en cualquier parte del dataframe no duplicados entre ellos. Yo creo que lo más fácil sería que copies 10 filas de tu dataframe con las que se pueda reproducir el problema y así podríamos analizar lo que sucede. el 31 jul. a las 2:18
  • Gracias por la orientación, ya entendi, estaba imprimiendo solo una vez los repetidos y supuse que se iban a mostrar por pantalla los que se repetian. el 31 jul. a las 2:32
0

capaz que ya resolviste tu duda, pero encontré este artículo que me sirvió y está ligado a tu consulta: ¿Cómo puedo saber cuáles son las filas duplicadas con Pandas?

Saludos!

1
  • 1
    Si bien este enlace puede responder a la pregunta, es mejor incluir las partes esenciales de la respuesta aquí y proporcionar el enlace como referencia. Las respuestas que son únicamente un enlace pueden dejar de ser válidas si la página vinculada cambia. - Desde revisión
    – padaleiana
    el 29 ago. a las 10:57

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.