2

Tengo un DataFrame con casi 2 millones de filas, que tiene una columna para el ID, una columna para la fecha y una descripción de cada ID.

Cada ID debería tener una única descripción, sin embargo se da el caso de que hay ID que tienen o la descripción vacía en alguna de sus fechas o tienen más de una descripción que ha ido cambiando con el tiempo.

Lo que busco es poner a cada ID la descripción más actual (siempre que no sea una celda vacía, en caso de que sea vacía debería ser la primera descripción no vacía). He ordenado el DF por ID y por Fecha, de tal forma que para cada "grupo" de ID, la primera descripción es la más actual.

El problema lo tengo a la hora de coger esa descripción y sustituirla en el resto de filas del mismo ID. El proceso con un bucle FOR me tarda más de 30 minutos, por lo que necesito una solución mucho más eficiente.

Has ahora, mi procedimiento ha sido:

  • sacar una lista con los ID únicos
  • Iterar con un bucle for esos ID, y con un .loc sacar el campo descripción. Si la descripción más reciente es nula, le pongo un if para que pille la segunda descripción.
for id in list(df.columnid.unique()):  
    
    if df.loc[(df.columnid == id).description.unique()[0] != "":
        description = df.loc[(df.columnid == id).description.unique()[0]
        
        
    elif df.loc[(df.columnid == id).description.unique()[0] == "" and len(df.loc[(df.columnid == id).description.unique()) >1:
        description = df.loc[(df.columnid == id).description.unique()[1]
        
  • Guardar tanto el ID del producto como la descripción en un diccionario:
dicc[id] = dicc.get(id, description)

Después, con un .loc, con un .isin y un map reemplazo los valores obtenidos en la columna. Este procedimiento funciona, pero no es nada óptimo y necesito saber cómo se podría hacer de mejor forma sin tardar más de 30 min.

df.loc[df['columnid'].isin(dicc.keys()), 'description'] = df['columnid'].map(dicc)

Un ejemplo del DataFrame (sería lo mismo pero con millones de filas) sería:

df = pd.DataFrame({"columnid": ["2321fdsf", "2321fdsf", "3gsdfer3", "4gdsfg44", "4gdsfg44", "4gdsfg44", "7fg45d"],
                 "date": ["2022-11-16","2022-10-07","2022-09-02","2021-12-04","2021-09-23","2021-03-06","2021-03-15"],
                 "description": ["aaa", "bbb", "abc", "eee", "", "aqwert", "yuiop"],
                 })



    columnid       date     description
0   2321fdsf    2022-11-16  aaa
1   2321fdsf    2022-10-07  bbb
2   3gsdfer3    2022-09-02  abc
3   4gdsfg44    2021-12-04  eee
4   4gdsfg44    2021-09-23  
5   4gdsfg44    2021-03-06  aqwert
6   7fg45d      2021-03-15  yuiop

El resultado buscado tendría que ser:

    columnid       date     description
0   2321fdsf    2022-11-16  aaa
1   2321fdsf    2022-10-07  aaa
2   3gsdfer3    2022-09-02  abc
3   4gdsfg44    2021-12-04  eee
4   4gdsfg44    2021-09-23  eee
5   4gdsfg44    2021-03-15  eee
6   7fg45d      2021-03-06  yuiop

Gracias

2
  • +1 por una pregunta bien formulada, y con datos de ejemplo para hacer pruebas
    – abulafia
    Commented el 22 nov. 2022 a las 9:19
  • Es necesario mantener los columnid repetidos?
    – Francisco
    Commented el 22 nov. 2022 a las 10:15

3 respuestas 3

2

Buen día,

Tengo una propuesta un poco diferente y comparé la eficiencia con el código de las otras respuestas utilizando timeit

Puedes utilizar pandas.DataFrame.groupby en combinación con pandas.DataFrame.transform y utilizar la función first adentro de transform para obtener el primer elemento de cada grupo y asignarlo directamente a la columna "description".

Para que transform tome el primer valor válido podemos reemplazar todos los string vacíos por NaN antes de obtener la descripción.

Ejemplo:

Nota: agregué una fila extra para mostrar que también funciona en caso de que el primer valor de un grupo sea un string vacío.

import pandas as pd
import numpy as np

df = pd.DataFrame({"columnid": ["2321fdsf", "2321fdsf", "3gsdfer3", "4gdsfg44", "4gdsfg44", "4gdsfg44", "7fg45d", "7fg45d"],
                 "date": ["2022-11-16","2022-10-07","2022-09-02","2021-12-04","2021-09-23","2021-03-06", "2022-05-13","2021-03-15"],
                 "description": ["aaa", "bbb", "abc", "eee", "", "aqwert", "", "yuiop"],
                 })

# Forzamos a que haya NaN en vez de cadenas vacías, para permitir el fillna
df["description"] = df["description"].replace("", np.nan)

df["description"] = df.groupby(by = "columnid")['description'].transform('first')
print(df)

Esto imprime el siguiente dataframme:

   columnid        date description
0  2321fdsf  2022-11-16         aaa
1  2321fdsf  2022-10-07         aaa
2  3gsdfer3  2022-09-02         abc
3  4gdsfg44  2021-12-04         eee
4  4gdsfg44  2021-09-23         eee
5  4gdsfg44  2021-03-06         eee
6    7fg45d  2022-05-13       yuiop
7    7fg45d  2021-03-15       yuiop

Comparación de tiempos

La solución propuesta en esta respuesta arroja el siguiente resultado:

430 µs ± 2.54 µs per loop (mean ± std. dev. of 7 runs, 1,000 loops each)

La solución propuesta por el compañero @Abulafia arroja el siguiente resultado:

1.64 ms ± 2.43 µs per loop (mean ± std. dev. of 7 runs, 1,000 loops each)

La solución propuesta por el compañero @Lobos arroja el siguiente resultado:

3.44 ms ± 9.73 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

En conclusión, de acuerdo a los resultados arrojados por timeit la solución propuesta en esta respuesta es más rápida, sería cuestión que probaras las 3 y vieras cuál te funciona mejor.

5
  • No entiendo la necesidad de hacer un groupby si ya están agrupadas y ordenadas
    – Francisco
    Commented el 22 nov. 2022 a las 16:00
  • Mejor una función que rellene con el anterior si tienen el mismo id
    – Francisco
    Commented el 22 nov. 2022 a las 16:03
  • @Francisco, El apply tarda más, por eso lo descarté en mi propuesta. Commented el 22 nov. 2022 a las 16:17
  • @Francisco, además la función que rellene con el anterior no funcionaría si hay NaN como primer elemento de un grupo Commented el 22 nov. 2022 a las 16:24
  • He probado las tres opciones, y esta es la más rápida, como bien ha puesto @HeytalePazguato en su comparativa. Es una pasada. La verdad que me habéis ayudado un montón. Muchísimas gracias
    – Esteban
    Commented el 22 nov. 2022 a las 18:17
2

En esta solución se usan solo operaciones de pandas, debería tener mejor rendimiento:

import pandas as pd
import numpy as np
df = pd.DataFrame({"columnid": ["2321fdsf", "2321fdsf", "3gsdfer3", "4gdsfg44", "4gdsfg44", "4gdsfg44", "7fg45d"],
                 "date": ["2022-11-16","2022-10-07","2022-09-02","2021-12-04","2021-09-23","2021-03-06","2021-03-15"],
                 "description": ["aaa", "bbb", "abc", "eee", "", "aqwert", "yuiop"],
                 })

"""
Remover del dataframe las filas que tengan descripcion vacía
para asegurar que en cada columnid siempre habrá una descripción
para usar.
"""
df_new = df.replace('', np.nan)
df_new.dropna(inplace=True)
"""
Como el dataframe está ordenado por fecha siendo la reciente
la de arriba entonces se agrega un número a las filas
según su agrupación por columid, de esta forma la más reciente
siempre será el 0
"""
df_new['row_number'] = df_new.groupby('columnid').cumcount()
"""
Se crea un nuevo dataframe que contenga solo el columnid
y la descripción más reciente, para eso se filtran solo
las filas que tengan `row_number` == 0
"""
recent_descriptions = df_new[df_new['row_number'] == 0][['columnid','description']]
"""
Se fusiona el dataframe con las descripciones recientes y el dataframe original
se usa `columnid` para relacionarlos
"""
merge = pd.merge(df, recent_descriptions,on='columnid')
"""
En este punto se puede ver la columna original `description`
del dataframe original y la columna `description` nueva en la que
se aplica la descripción más reciente
"""
print(merge)
"""
Completar el formato remover y renombrar columnas
"""
df_final = merge.drop('description_x', axis=1).rename(columns={'description_y': 'description'})
print(df_final)
3
  • ¿no mejoraría si usas .iloc[0] para elegir la primera fecha de cada grupo sin necesitar computar row_number o tener que andar buscando luego la fila con row_number==0?
    – abulafia
    Commented el 22 nov. 2022 a las 8:47
  • @abulafia, también podría utilizarse first() o head(1), pero habría que probar cual es más rápido, yo creo que first y head podrían utilizar iloc internamente por lo que tal vez sean equivalentes. Commented el 22 nov. 2022 a las 15:31
  • He probado este método y es una pasada. Funciona sin problema y se me ha reducido el tiempo de 30 min a 10 segundos, lo cual es brutal. No sé si se podría seguir mejorando el tiempo, es posible, pero ahora mismo es más que suficiente, más teniendo en cuenta el tiempo que tardaba antes. Muchas gracias!
    – Esteban
    Commented el 22 nov. 2022 a las 17:54
1

Una máxima de pandas es: para optimizar los iteraciones, no hagas iteraciones :-)

Utiliza operaciones pandas que están vectorizadas (esto es, las iteraciones las hace pandas por debajo, implementadas en C y de forma super eficiente).

Una idea, que funciona siempre que se cumplan las siguientes condiciones:

  1. El datafram de entrada viene ordenado de modo que, aunque los ids puedan no estar agrupados, las fechas de cada id sí que están ordenadas, siendo la más reciente la primera. Si esta condición no se cumpliera, se podría forzar fácilmente con un df = df.sort_values(by=["columnid", "date"], ascending=(True, False)).
  2. En la columna "description", para los casos en que no hay descripción, hay almacenado un valor NaN. Esto es fácil de forzar mediante un .replace().

Bajo estas condiciones mi idea es:

  • Realizar un groupby() por la columna "columind". Eso nos dará una serie de "mini-dataframes" en cada uno de los cuales se cumple que:

    1. La columna "columnid" tiene el mismo valor repetido
    2. La columna "date" está ordenada de más reciente a más antigua
    3. La columna "description" contiene al menos un valor no-vacio
  • En cada mini-dataframe, realizar una operación fillna() sobre la columna "description" con la estrategia "bfill". Esto rellenará todos los NaN que encuentre con el siguiente valor no NaN de esa misma columna. Así, si la fecha más reciente tenia un NaN tras el fillna() tendrá el valor de la siguiente fecha con descripción disponible.

  • En cada mini-dataframe reemplazar lo que haya en la columna "description" de todas las filas, por lo que hay en esa columna en la primera fila (que corresponde a la fecha más reciente).

Los dos últimos puntos son muy largos de explicar con palabras, pero se resumen en una función python de un par de líneas (siendo g, el parámetro, cada uno de los mini-dataframes que generará .groupby()):

def fill_descriptions(g):
    g.description = g.description.fillna(method="bfill").iloc[0]
    return g

Solo queda aplicar esa función al resultado del groupy, lo cual es una línea:

result = df.groupby(by="columnid").apply(fill_descriptions)

Demo

import pandas as pd
import numpy as np

df = pd.DataFrame({"columnid": ["2321fdsf", "2321fdsf", "3gsdfer3", "4gdsfg44", "4gdsfg44", "4gdsfg44", "7fg45d"],
                 "date": ["2022-11-16","2022-10-07","2022-09-02","2021-12-04","2021-09-23","2021-03-06","2021-03-15"],
                 "description": ["aaa", "bbb", "abc", "eee", "", "aqwert", "yuiop"],
                 })
# Forzamos a que haya NaN en vez de cadenas vacías, para permitir el fillna
df.description = df.description.replace("", np.nan)

def fill_descriptions(g):
    g.description = g.description.fillna(method="bfill").iloc[0]
    return g

result = df.groupby(by="columnid").apply(fill_descriptions)
print(result)

Resultado:

   columnid        date description
0  2321fdsf  2022-11-16         aaa
1  2321fdsf  2022-10-07         aaa
2  3gsdfer3  2022-09-02         abc
3  4gdsfg44  2021-12-04         eee
4  4gdsfg44  2021-09-23         eee
5  4gdsfg44  2021-03-06         eee
6    7fg45d  2021-03-15       yuiop
5
  • @Esteban Si pruebas este métdo por favor comparte el resultado en cuanto al tiempo necesario para el procesamiento. Tengo curiosidad.
    – abulafia
    Commented el 22 nov. 2022 a las 9:15
  • No seria mejor trabajar sobre el mismo dataframe, sobre todo si es tan grande. p.e df.description.replace("", np.nan,inplace=True)
    – Francisco
    Commented el 22 nov. 2022 a las 15:11
  • @Francisco, estoy de acuerdo en que eso ahorraría un poco de tiempo y podría ser una buena sugerencia para la aplicación, pero el proceso que toma más tiempo es el obtener la descripción por lo que tal vez el tiempo de ejecución de esa línea podría ser despreciable en consideración con la parte de obtener y asignar la descripción Commented el 22 nov. 2022 a las 15:28
  • He intentado probar este método, pero a la hora de ejecutarlo me salta el siguiente error: AttributeError: 'str' object has no attribute 'fillna'
    – Esteban
    Commented el 22 nov. 2022 a las 18:00
  • seguro que tienes grupos sin descripción alguna
    – Francisco
    Commented el 22 nov. 2022 a las 18:54

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.