1

Buenas!!!

Tengo que obtener el número de veces que aparece una línea completa repetida en mi dataframe, para luego mostrar solo aquellas líneas que aparecen repetidas y mostrar en la última columna cuántas veces esas líneas aparecen repeticiones.

Este tendría que ser el resultado de la tabla correcta:

          dur       wage1   wage2   wage3   cola    hours  pension  stby_pay    shift_diff  num_reps
     6    3.0        2.0    3.0     NaN      tcf      NaN   empl_contr  NaN      NaN           4
     8    1.0        2.8    NaN     NaN      none    38.0   empl_contr  2.0      3.0           2
     9    1.0        5.7    NaN     NaN      none    40.0   empl_contr  NaN      4.0           3
     43   2.0        2.5    3.0     NaN      NaN     40.0    none       NaN      NaN           2

Este mi código actual:

def detect_duplicates(data):
    x = DataFrame(columns=data.columns.tolist() + ["num_reps"])

    x = data[data.duplicated(keep=False)].drop_duplicates()

    return x

Obtengo el resultado de forma correcta, sin embargo la última columna "nums_reps" que debería mostrarme cuantas veces aparece esa columna repetida, me tiene algo perdido, ya que no se como realizar esa contabilidad.

Este es el resultado que estoy actualmente obteniendo, es muy similar al que debería de tener, sin embargo no se como añadir la contabilidad de las filas repetidas al final.

    dur  wage1  wage2  wage3  cola  hours     pension  stby_pay  shift_diff
6   3.0    2.0    3.0    NaN   tcf    NaN  empl_contr       NaN         NaN
8   1.0    2.8    NaN    NaN  none   38.0  empl_contr       2.0         3.0
9   1.0    5.7    NaN    NaN  none   40.0  empl_contr       NaN         4.0
43  2.0    2.5    3.0    NaN   NaN   40.0        none       NaN         NaN

En resumen, ¿Cómo podría realizar ese cálculo? Como podría contabilizar el número de filas que tienen todos los atributos iguales, para al final mostrarlos en una fila final "num_reps".

Gracias

1 respuesta 1

1

Si no te importa perder el índice original de cada fila creo que puedes hacerlo usando solo DataFrame.groupby tanto para eliminar filas duplicadas como para contarlas:

import pandas as pd

>>> data = pd.DataFrame({"Col1":("a", "a", "b", "a", "b", "c", "b", "b", "b"), 
                         "Col2":("x", "y", "z", "x", "z", "j", "z", "i", "i")})                            
>>> data

  Col1 Col2
0    a    x
1    a    y
2    b    z
3    a    x
4    b    z
5    c    j
6    b    z
7    b    i
8    b    i


>>> s = data.groupby(data.columns.tolist(), as_index=False).size()
>>> out = s[s > 1].reset_index()
>>> out.rename(columns={0: "num_reps"}, inplace=True)
>>> out

  Col1 Col2  num_reps
0    a    x         2
1    b    i         2
2    b    z         3

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.