tengo un dataframe con 36 columnas a las cuales les estoy aplicando el siguiente código para verificar si hay datos duplicados.
df_limpios.duplicated().sum()
out: 21
df_limpios.duplicated(keep="first")
out: ...
1487 True
1488 True
1489 False
1490 True
1491 True
Verificando esta información procedi solo a revisar las filas 1487 y 1488 por facilidad, el resultado que me da es el siguiente:
| NumEmpleado | Edad | Retirado | ViajesDeNegocio | TarifaSalarial | Departamento | DistanciaDesdeCasa | Educacion | CampoEducacion | EmpleadosACargo | NivelSatisfaccion | Genero | SalarioPorHora | NivelInvolucramiento | NivelResponsabilidad | Rol | SatisfaccionTrabajo | EstadoCivil | SalarioMensual | TarifaMensual | NumEmpresasDondeTrabaja | MasDe18Horas | HorasExtra | PorcentajeIncrementoSalarioUltimoAnnio | NivelRendimiento | SatisfaccionEmpresa | HorasEstandar | PlanSalarioComplementario | TotalAnniosTrabajados | FormacionUltimoAnnio | BalanceTrabajoVida | FechaIngresoEmpresa | AnniosEnEmpresa | AnniosRolActual | AnniosDesdeUltimaPromocion | AnniosActualDirector |
|-------------|------|----------|-----------------|----------------|------------------------|--------------------|-----------|----------------------|-----------------|-------------------|-----------|---------------|----------------------|----------------------|-------------------------|---------------------|-------------|---------------|--------------|--------------------------|--------------|------------|-------------------------------------|------------------|---------------------|---------------|---------------------------|----------------------|----------------------|--------------------|----------------------|------------------|-----------------|-------------------------------|----------------------|
| 1201 | 23 | Si | Viaja-Pocas-Veces | 427 | Ventas | 7 | 3 | Ciencias de la vida | 1.0 | 1702 | Masculino | 99 | 3 | 1 | Representante de ventas | 4 | Divorciado | 2275 | 25103 | 1 | S | Si | 21 | 4 | 2 | 80 | 1 | 3/06/2018 | 3 | 2 | 3 | 5/06/2018 | 3 | 2 | 0 | 2 |
| 1470 | 26 | Si | Viaja-Pocas-Veces | 1357 | Investigacion & Desarrollo | 25 | 3 | Ciencias de la vida | 1.0 | 55 | Masculino | 48 | 1 | 1 | Tecnico de laboratorio | 3 | Soltero | 2293 | 10558 | 1 | S | No | 12 | 3 | 3 | 80 | 0 | 3/04/2020 | 1 | 0 | 0 | 3/04/2020 | 1 | 0 | 0 | 1 |
| 1471 | 20 | Si | Viaja-Frecuentemente | 871 | Investigacion & Desarrollo | 6 | 3 | Ciencias de la vida | 1.0 | 137 | Femenino | 66 | 2 | 1 | Tecnico de laboratorio | 4 | Soltero | 2926 | 19783 | 1 | S | Si | 18 | 3 | 2 | 80 | 0 | 28/05/2020 | 1 | 0 | 1 | 28/05/2020 | 1 | 0 | 0 | 0 |
| 1472 | 26 | Si | Viaja-Pocas-Veces | 1449 | Investigacion & Desarrollo | 16 | 4 | Medicina | 1.0 | 394 | Masculino | 45 | 3 | 1 | Tecnico de laboratorio | 2 | Divorciado | 2373 | 14180 | 2 | S | Si | 13 | 3 | 4 | 80 | 1 | 18/10/2018 | 3 | 2 | 0 | 18/10/2018 | 3 | 2 | 0 | 2 |
| 1473 | 26 | Si | Viaja-Pocas-Veces | 950 | Ventas | 4 | 4 | Mercadeo | 1.0 | 401 | Masculino | 48 | 2 | 2 | Ejecutivo de ventas | 4 | Soltero | 5828 | 8450 | 1 | S | Si | 12 | 3 | 2 | 80 | 0 | 26/09/2013 | 8 | 7 | 7 | 26/09/2013 | 8 | 7 | 0 | 4 |
| 1474 | 26 | Si | Viaja-Frecuentemente | 575 | Investigacion & Desarrollo | 3 | 1 | Nivel tecnico | 1.0 | 510 | Masculino | 73 | 3 | 1 | Cientifico de investigacion | 1 | Soltero | 3102 | 6582 | 0 | S | No | 22 | 4 | 3 | 80 | 0 | 2/08/2015 | 6 | 4 | 0 | 2/08/2015 | 6 | 4 | 0 | 4 |
| 1475 | 26 | Si | Viaja-Frecuentemente | 426 | Talento Humano | 17 | 4 | Ciencias de la vida | 1.0 | 608 | Femenino | 58 | 3 | 1 | Talento Humano | 3 | Divorciado | 2741 | 22808 | 0 | S | Si | 11 | 3 | 2 | 80 | 1 | 15/04/2014 | 7 | 7 | 1 | 15/04/2014 | 7 | 1 | 0 | 0 |
| 1476 | 26 | Si | Viaja-Pocas-Veces | 471 | Investigacion & Desarrollo | 24 | 3 | Nivel tecnico | 1.0 | 622 | Masculino | 66 | 1 | 1 | Tecnico de laboratorio | 4 | Soltero | 2340 | 23213 | 1 | S | Si | 18 | 3 | 2 | 80 | 0 | 2/03/2020 | 1 | 0 | 0 | 2/03/2020 | 1 | 0 | 0 | 0 |
| 1477 | 20 | Si | Viaja-Pocas-Veces | 1362 | Investigacion & Desarrollo | 10 | 1 | Medicina | 1.0 | 701 | Masculino | 32 | 3 | 1 | Cientifico de investigacion | 3 | Soltero | 1009 | 26999 | 1 | S | Si | 11 | 3 | 4 | 80 | 0 | 23/07/2020 | 1 | 0 | 1 | 23/07/2020 | 1 | 1 | 0 | 1 |
| 1478 | 26 | Si | Viaja-Pocas-Veces | 1146 | Ventas | 8 | 3 | Nivel tecnico | 1.0 | 796 | Masculino | 38 | 2 | 2 | Ejecutivo de ventas | 1 | Soltero | 5326 | 3064 | 6 | S | No | 17 | 3 | 3 | 80 | 0 | 22/09/2017 | 4 | 3 | 1 | 22/09/2017 | 4 | 1 | 1 | 2 |
| 1480 | 26 | Si | Viaja-Frecuentemente | 887 | Investigacion & Desarrollo | 5 | 2 | Medicina | 1.0 | 848 | Femenino | 88 | 2 | 1 | Cientifico de investigacion | 3 | Casado | 2366 | 20898 | 1 | S | Si | 14 | 3 | 1 | 80 | 1 | 2/07/2013 | 8 | 7 | 1 | 2/07/2013 | 8 | 7 | 1 | 7 |
| 1481 | 20 | Si | Viaja-Pocas-Veces | 500 | Ventas | 2 | 3 | Medicina | 1.0 | 922 | Femenino | 49 | 2 | 1 | Representante de ventas | 3 | Soltero | 2044 | 22052 | 1 | S | No | 13 | 3 | 4 | 80 | 0 | 5/03/2019 | 2 | 2 | 0 | 5/03/2019 | 2 | 2 | 0 | 2 |
| 1482 | 20 | Si | Viaja-Pocas-Veces | 129 | Investigacion & Desarrollo | 4 | 3 | Nivel tecnico | 1.0 | 960 | Masculino | 84 | 3 | 1 | Tecnico de laboratorio | 1 | Soltero | 2973 | 13008 | 1 | S | No | 19 | 3 | 2 | 80 | 0 | 10/06/2020 | 1 | 0 | 0 | 10/06/2020 | 1 | 0 | 0 | 0 |
| 1483 | 20 | Si | Viaja-Pocas-Veces | 1097 | Investigacion & Desarrollo | 11 | 3 | Medicina | 1.0 | 1016 | Femenino | 98 | 2 | 1 | Cientifico de investigacion | 1 | Soltero | 2600 | 18275 | 1 | S | Si | 15 | 3 | 1 | 80 | 0 | 4/03/2020 | 1 | 0 | 0 | 4/03/2020 | 1 | 0 | 0 | 0 |
| 1484 | 26 | Si | No-Viaja | 265 | Ventas | 29 | 2 | Medicina | 1.0 | 1037 | Masculino | 79 | 1 | 2 | Ejecutivo de ventas | 1 | Soltero | 4969 | 21813 | 8 | S | No | 18 | 3 | 4 | 80 | 0 | 16/02/2019 | 2 | 2 | 2 | 16/02/2019 | 2 | 2 | 2 | 2 |
| 1485 | 26 | Si | Viaja-Frecuentemente | 342 | Investigacion & Desarrollo | 2 | 3 | Ciencias de la vida | 1.0 | 1053 | Masculino | 57 | 3 | 1 | Cientifico de investigacion | 1 | Casado | 2042 | 15346 | 6 | S | Si | 14 | 3 | 2 | 80 | 1 | 3/08/2018 | 3 | 2 | 1 | 3/08/2018 | 3 | 2 | 1 | 2 |
| 1486 | 20 | Si | Viaja-Frecuentemente | 769 | Ventas | 9 | 3 | Mercadeo | 1.0 | 1077 | Femenino | 54 | 3 | 1 | Representante de ventas | 4 | Soltero | 2323 | 17205 | 1 | S | Si | 14 | 3 | 2 | 80 | 0 | 3/03/2019 | 2 | 2 | 0 | 3/03/2019 | 2 | 2 | 0 | 2 |
| 1487 | 26 | Si | Viaja-Pocas-Veces | 1330 | Investigacion & Desarrollo | 21 | 3 | Medicina | 1.0 | 1107 | Masculino | 37 | 3 | 1 | Tecnico de laboratorio | 3 | Divorciado | 2377 | 19373 | 1 | S | No | 20 | 4 | 3 | 80 | 1 | 14/09/2020 | 1 | 1 | 0 | 14/09/2020 | 1 | 0 | 0 | 0 |
| 1488 | 23 | Si | Viaja-Pocas-Veces | 1243 | Investigacion & Desarrollo | 6 | 3 | Ciencias de la vida | 1.0 | 811 | Masculino | 63 | 4 | 1 | Tecnico de laboratorio | 1 | Casado | 1601 | 3445 | 1 | S | Si | 21 | 4 | 3 | 80 | 2 | 5/09/2021 | 0 | 0 | 0 | 5/09/2021 | 0 | 0 | 0 | 0 |
| 1490 | 26 | Si | Viaja-Pocas-Veces | 920 | Talento Humano | 20 | 2 | Medicina | 1.0 | 1818 | Femenino | 69 | 3 | 1 | Talento Humano | 2 | Casado | 2148 | 6889 | 0 | S | Si | 11 | 3 | 3 | 80 | 0 | 16/11/2016 | 5 | 1 | 1 | 16/11/2016 | 5 | 1 | 1 | 4 |
| 1491 | 23 | Si | Viaja-Pocas-Veces | 1320 | Investigacion & Desarrollo | 8 | 1 | Medicina | 1.0 | 1684 | Masculino | 93 | 2 | 1 | Tecnico de laboratorio | 3 | Soltero | 3989 | 20586 | 1 | S | Si | 11 | 3 | 1 | 80 | 0 | 28/01/2016 | 5 | 4 | 1 | 28/01/2016 | 5 | 4 | 1 | 2 |
Bueno en general las lineas 1487 y 1488 no son similares en ningún sentido, si tienen columnas con datos similares, pero la fila en general no es similar a la otra, entonces.
Tengo entendido que el metodo duplicated selecciona las observaciones iguales dentro del dataframe, pero no sé si esto es correcto o no, y no sé por qué sucede que me seleccione filas que es evidente que no son iguales. De antemano, gracias por la ayuda.
duplicated
marca comoTrue
los elementos repetidos, pero no necesariamente son consecutivos por lo que necesitarías ver si las filas que estás comparando existen tal cual en alguna otro índice anterior.