2

Tengo un dataframe la siguiente forma:

TEAM_ID SEASON_ID STANDINGSDATE CONFERENCE TEAM G W L W_PCT
0 1610612762 22020 2021-03-21 West Utah 41 30 11 0.732
1 1610612762 22020 2021-03-20 West Utah 41 30 11 0.732
2 1610612762 22020 2021-03-19 West Utah 41 30 11 0.732

Como pueden ver, las filas son iguales a excepción del STANDINGSDATE(fecha). Lo que busco es recorrer el dataframe de la manera más óptima posible (el dataframe es grande), a fin de ir comparando de a dos filas consecutivas, y si todos los valores son exactamente iguales, a excepción de la STANDINGSDATE (fecha), se concluye que el registro es el mismo y la fila estaría repetida. Consecuentemente se asigna el valor de la fecha más reciente, para luego poder borrar los datos duplicados con drop_duplicates.

El dataframe debería quedar de la siguiente manera.

TEAM_ID SEASON_ID STANDINGSDATE CONFERENCE TEAM G W L W_PCT
0 1610612762 22020 2021-03-21 West Utah 41 30 11 0.732
1 1610612762 22020 2021-03-21 West Utah 41 30 11 0.732
2 1610612762 22020 2021-03-21 West Utah 41 30 11 0.732

Mi código hasta el momento (Me estoy demorando en todo el dataframe: 4min 39s):

n = df.shape[0]
# sólo se comparan tres columnas
for i, j in zip(range(0, n), range(1, n+1)):
    if df.iloc[i:i+1,1:2].values == df.iloc[j:j+1,1:2].values and\
    df.iloc[i:i+1,4:5].values == df.iloc[j:j+1,4:5].values and\
    df.iloc[i:i+1,5:6].values == df.iloc[j:j+1,5:6].values:
        df.iloc[j:j+1,2:3] = df.iloc[i:i+1,2:3]

La idea es evitar iteritems y iterrows, y opciones en esa misma línea, buscando que sea lo más vectorizado posible.

¡Agradecido de antemano!

6
  • Podrías crearte un dataframe secundario, copia del primero pero dropeando el campo STANDINGSDATE y entonces eliminar duplicados ahí con drop_duplicates. Luego seguramente puedas añadir el campo STANDINGSDATE pero solo con la max fecha por cada team_id
    – Esei
    Commented el 27 may. 2021 a las 12:30
  • lo que quieres es comparar los datos excluyendo el campo STANDINGSDATE?
    – Christian
    Commented el 27 may. 2021 a las 14:57
  • @Christian, efectivamente los comparo excluyendo el campo STANDINGSDATE. Si la comparación es correcta (que significa que son iguales, pero registrados en dos días distintos), entonces el valor de STANDINGSDATE más actualizado se copia en el o los registros mas antiguos. De esa forma genero registros exactamente iguales, y ya podría eliminar los duplicados. Esa es la lógica con que lo vi, pero puede ser una distinta, como la que propone @Esei. Commented el 27 may. 2021 a las 16:57
  • @c_bass-player Lo siento no puede resolver tu problema :(
    – Christian
    Commented el 28 may. 2021 a las 16:29
  • @Christian no hay problema, ya veremos si alguien se le ocurre algo mejor!! Commented el 28 may. 2021 a las 16:40

1 respuesta 1

2

Me di cuenta que existe una función de pandas para encontrar los datos duplicados, con df[columns].duplicated(), pero como dices que debe omitir STANDINGSDATE, pues le pasamos un argumento para que omita ese campo en este caso es así df.duplicated(df.columns[~df.columns.isin(["STANDINGSDATE"])])
Donde se le dice que si existe el campo STANDINGSDATE no lo tome en cuenta, eso se hace negando la expresion con ~ que, en codigo Pythhon normal es el operador Bitwise not pero estos operadores cambian de función dependiendo de donde se utilice, pandas no acepta los operadores normales and, or, not, por lo que se usa su equivalente &, |, ~.

Bueno ahora si vamos con el codigo.

import pandas as pd
df = pd.read_csv('archivo.csv')

#lo convertimos a un DF para mejor manejo
df = pd.DataFrame(df)

df = df.duplicated(df.columns[~df.columns.isin(["STANDINGSDATE"])])
print(df)

Salida

2    False
1     True
0    False
dtype: bool

Esto nos devuelve valores boleanos indicando que valores están repetidos y que valores no lo están. Bueno y ahora que hacemos con eso?, sencillo, utilizamos la función drop_duplicates() que eliminara los registros duplicados, y nos quedaremos solo con 1. Esto acepta el mismo parámetro para indicarle que campo no tomar en cuenta

...
df = pd.DataFrame(df)

#reemplazamos el duplicated por:
df = df.drop_duplicates(df.columns[~df.columns.isin(["STANDINGSDATE"])])
print(df)

Salida

      TEAM_ID  SEASON_ID STANDINGSDATE CONFERENCE  TEAM   G   W   L  W_PCT
0  1610612762      22020    2021-03-21       West  Utah  41  30  11  0.732

Bueno esto seria casi todo, solo nos falta quedarnos con el registro mas actualizado, ¿Cómo lo hacemos?, pues drop_duplicates acepta otro parámetro llamado keep el cual sirve para indicar si nos quedaremos con el primero o ultimo elemento que este duplicado, por defecto se queda con el primero, entonces lo que se me ocurrió fue, primero ordenar el DataFrame de acuerdo a su campo STANDINGSDATE (de mayor a menor), así al eliminar nos quedaremos con el primer registro, que por consecuente será el mas reciente, quedando el codigo asi:

import pandas as pd
df = pd.read_csv('archivo.csv')
#convertimos a DF
df = pd.DataFrame(df)

#ordenamos de mayor a menor
df = df.sort_values("STANDINGSDATE",ascending=False) 
#print(df)

#eliminamos los registros duplicados y nos quedamos con el mas reciente
df = df.drop_duplicates(df.columns[~df.columns.isin(["STANDINGSDATE"])])
print(df)

Resultado

      TEAM_ID  SEASON_ID STANDINGSDATE CONFERENCE  TEAM   G   W   L  W_PCT
0  1610612762      22020    2021-03-21       West  Utah  41  30  11  0.732

La salida será la misma así cambies el orden de los datos en el .csv, vamos ha hacer la prueba con mas datos.

Datos

TEAM_ID,SEASON_ID,STANDINGSDATE,CONFERENCE,TEAM,G,W,L,W_PCT
1610612762,22021,2021-03-10,West,Utah,41,30,11,0.732
1610612762,22022,2021-03-20,West,Utah,41,30,11,0.732
1610612762,22020,2021-03-19,West,Utah,41,30,11,0.732
1610612762,22021,2021-03-14,West,Utah,41,30,11,0.732
1610612762,22022,2021-03-22,West,Utah,41,30,11,0.732
1610612762,22020,2021-03-10,West,Utah,41,30,11,0.732

Salida

      TEAM_ID  SEASON_ID STANDINGSDATE CONFERENCE  TEAM   G   W   L  W_PCT
4  1610612762      22022    2021-03-22       West  Utah  41  30  11  0.732
2  1610612762      22020    2021-03-19       West  Utah  41  30  11  0.732
3  1610612762      22021    2021-03-14       West  Utah  41  30  11  0.732

Funciona!, esta es mi ultima publicación por el día de hoy, espero te sirva, si tienes una duda avísame, buenas noches.

2
  • Solucionaste mi problema y más @Christian. Mi código basura se demoraba 4 min y 47 s y el tuyo pasó a demorarse 91.9 ms (OMG!!). La data total erán 191.112 datos y con reducción de duplicados quedó en 46.200. Aquí mi código había llegado a 46.259, entonces en esos 59 registros que tenemos de diferencia yo me había equivocado, porque la condición de igualdad de registros no la definí con todas las columnas de cada registro, cosa que tu código si hace. Gracias por tu ayuda (aplausos!), aún estoy desarrollando mi código, así que puede que algo más deje por aquí!. Commented el 30 may. 2021 a las 14:42
  • @c_bass-player de nada, tu problema no me dejaba dormir, sentía que era algo tan fácil que debía tener una solución, en mis intentos estaba logrando algo pero sin resultados exitosos, espero con ansias ver cual será tu próxima pregunta :)
    – Christian
    Commented el 30 may. 2021 a las 16:30

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.