Tengo un dataframe la siguiente forma:
TEAM_ID | SEASON_ID | STANDINGSDATE | CONFERENCE | TEAM | G | W | L | W_PCT | |
---|---|---|---|---|---|---|---|---|---|
0 | 1610612762 | 22020 | 2021-03-21 | West | Utah | 41 | 30 | 11 | 0.732 |
1 | 1610612762 | 22020 | 2021-03-20 | West | Utah | 41 | 30 | 11 | 0.732 |
2 | 1610612762 | 22020 | 2021-03-19 | West | Utah | 41 | 30 | 11 | 0.732 |
Como pueden ver, las filas son iguales a excepción del STANDINGSDATE
(fecha). Lo que busco es recorrer el dataframe de la manera más óptima posible (el dataframe es grande), a fin de ir comparando de a dos filas consecutivas, y si todos los valores son exactamente iguales, a excepción de la STANDINGSDATE
(fecha), se concluye que el registro es el mismo y la fila estaría repetida. Consecuentemente se asigna el valor de la fecha más reciente, para luego poder borrar los datos duplicados con drop_duplicates
.
El dataframe debería quedar de la siguiente manera.
TEAM_ID | SEASON_ID | STANDINGSDATE | CONFERENCE | TEAM | G | W | L | W_PCT | |
---|---|---|---|---|---|---|---|---|---|
0 | 1610612762 | 22020 | 2021-03-21 | West | Utah | 41 | 30 | 11 | 0.732 |
1 | 1610612762 | 22020 | 2021-03-21 | West | Utah | 41 | 30 | 11 | 0.732 |
2 | 1610612762 | 22020 | 2021-03-21 | West | Utah | 41 | 30 | 11 | 0.732 |
Mi código hasta el momento (Me estoy demorando en todo el dataframe: 4min 39s):
n = df.shape[0]
# sólo se comparan tres columnas
for i, j in zip(range(0, n), range(1, n+1)):
if df.iloc[i:i+1,1:2].values == df.iloc[j:j+1,1:2].values and\
df.iloc[i:i+1,4:5].values == df.iloc[j:j+1,4:5].values and\
df.iloc[i:i+1,5:6].values == df.iloc[j:j+1,5:6].values:
df.iloc[j:j+1,2:3] = df.iloc[i:i+1,2:3]
La idea es evitar iteritems
y iterrows
, y opciones en esa misma línea, buscando que sea lo más vectorizado posible.
¡Agradecido de antemano!
STANDINGSDATE
y entonces eliminar duplicados ahí con drop_duplicates. Luego seguramente puedas añadir el campoSTANDINGSDATE
pero solo con la max fecha por cada team_idSTANDINGSDATE
?@Christian
, efectivamente los comparo excluyendo el campoSTANDINGSDATE
. Si la comparación es correcta (que significa que son iguales, pero registrados en dos días distintos), entonces el valor deSTANDINGSDATE
más actualizado se copia en el o los registros mas antiguos. De esa forma genero registros exactamente iguales, y ya podría eliminar los duplicados. Esa es la lógica con que lo vi, pero puede ser una distinta, como la que propone@Esei
.