Tengo un DataFrame con casi 2 millones de filas, que tiene una columna para el ID, una columna para la fecha y una descripción de cada ID.
Cada ID debería tener una única descripción, sin embargo se da el caso de que hay ID que tienen o la descripción vacía en alguna de sus fechas o tienen más de una descripción que ha ido cambiando con el tiempo.
Lo que busco es poner a cada ID la descripción más actual (siempre que no sea una celda vacía, en caso de que sea vacía debería ser la primera descripción no vacía). He ordenado el DF por ID y por Fecha, de tal forma que para cada "grupo" de ID, la primera descripción es la más actual.
El problema lo tengo a la hora de coger esa descripción y sustituirla en el resto de filas del mismo ID. El proceso con un bucle FOR me tarda más de 30 minutos, por lo que necesito una solución mucho más eficiente.
Has ahora, mi procedimiento ha sido:
- sacar una lista con los ID únicos
- Iterar con un bucle for esos ID, y con un
.loc
sacar el campo descripción. Si la descripción más reciente es nula, le pongo un if para que pille la segunda descripción.
for id in list(df.columnid.unique()):
if df.loc[(df.columnid == id).description.unique()[0] != "":
description = df.loc[(df.columnid == id).description.unique()[0]
elif df.loc[(df.columnid == id).description.unique()[0] == "" and len(df.loc[(df.columnid == id).description.unique()) >1:
description = df.loc[(df.columnid == id).description.unique()[1]
- Guardar tanto el ID del producto como la descripción en un diccionario:
dicc[id] = dicc.get(id, description)
Después, con un .loc
, con un .isin
y un map
reemplazo los valores obtenidos en la columna.
Este procedimiento funciona, pero no es nada óptimo y necesito saber cómo se podría hacer de mejor forma sin tardar más de 30 min.
df.loc[df['columnid'].isin(dicc.keys()), 'description'] = df['columnid'].map(dicc)
Un ejemplo del DataFrame (sería lo mismo pero con millones de filas) sería:
df = pd.DataFrame({"columnid": ["2321fdsf", "2321fdsf", "3gsdfer3", "4gdsfg44", "4gdsfg44", "4gdsfg44", "7fg45d"],
"date": ["2022-11-16","2022-10-07","2022-09-02","2021-12-04","2021-09-23","2021-03-06","2021-03-15"],
"description": ["aaa", "bbb", "abc", "eee", "", "aqwert", "yuiop"],
})
columnid date description
0 2321fdsf 2022-11-16 aaa
1 2321fdsf 2022-10-07 bbb
2 3gsdfer3 2022-09-02 abc
3 4gdsfg44 2021-12-04 eee
4 4gdsfg44 2021-09-23
5 4gdsfg44 2021-03-06 aqwert
6 7fg45d 2021-03-15 yuiop
El resultado buscado tendría que ser:
columnid date description
0 2321fdsf 2022-11-16 aaa
1 2321fdsf 2022-10-07 aaa
2 3gsdfer3 2022-09-02 abc
3 4gdsfg44 2021-12-04 eee
4 4gdsfg44 2021-09-23 eee
5 4gdsfg44 2021-03-15 eee
6 7fg45d 2021-03-06 yuiop
Gracias