2

¡Buenos días!

Tengo un dataframe que luego quiero pasar por este proceso. Basicamente, lo agrupo todo por una columna y luego sumo y agrego en un nuevo df (df_usuarios_unicos).

En el df original, en cada fila, hay una publicación. Lo que hago es, con el proceso que sigue, crear un df que tenga en cada fila un usuario, y en cada columna algunos atributos (por ejemplo, número de publicaciones).

A continuación muestro el aspecto de la bbdd original:

User_screen_name  post          interacciones  comentarios    User_description
Pedro             "Buena idea"  10             3              "Fotógrafo"
Marta             "¡Estupendo!  3              1              "Carpe Diem" 
Pedro             "¡Disfruta!   21             4              "Fotógrafo" 
Silvia            "Buen hotel"  2              1              "Chef"    
Marta             "De barbacoa" 3              4              "Carpe Diem"

Es un extracto. Lo que quiero es un df que agrupe por User_screen_name y me ofrezca datos de los usuarios. Que quedase así:

 User_screen_name  post interacciones_totales  suma_comentarios_totales    User_description
    Pedro             2    31                     7                        "Fotógrafo"
    Marta             2    6                      5                        "Carpe Diem" 
    Silvia            1    2                      1                     "Chef"

Como se puede ver, se ha indicado en la columna "Post" la cantidad total de posts, en interacciones_totales se han sumado las interacciones que han recibido todas sus publicaciones, etc. Cosas como "User_description" se toman tal como aparecen sin modificarse.

El proceso funciona correctamente [Aviso: Este es un extracto del proceso real y las tablas ejemplos inventados, por lo que puede haber diferencias entre los nombres y procesos del siguiente código y los resultados de la tabla anterior.]:

lista_del_diccionario=list()    #definimos una lista de todas las listas que haremos
count=0

for k in df.groupby("User_screen_name").groups.keys():
    print("\r", count, end=" ")
    count+=1
    user_data=dict() #ahora decimos que es un diccionario en blanco y luego definimos los valores
    data=df.groupby("User_screen_name").get_group(k)
    interacciones_totales=data.loc[data["Tipo"]=="Post"].interacciones.sum() #aqui tenemos la suma de las interacciones
    
    
    
    suma_comentarios_totales=data.loc[data["Tipo"]=="COMENTARIO"].shape[0]
    user_description=data.iloc[0,24] 
    
    user_data.update({
        "User_screen_name":k,
        "interacciones_totales":interacciones_totales,
        "suma_comentarios_totales":suma_comentarios_totales,
        "user_description":user_description,
       
    })
    lista_del_diccionario.append(user_data) #Agregamos el diccionario que acabamos de crear a "lista_del_diccionario"
    
df_usuarios_unicos=pd.DataFrame(lista_del_diccionario)

¿Cuál es el tema? Bueno, si el df original es corto no hay problema, pero si tengo 1.000.000 de filas se vuelve ETERNO. Además, aquí hay solo una muestra; en verdad opero con más de 20 columnas.

Entiendo que lo que hace es, para cada fila, revisa en todas las filas anteriores y posteriores a ella si hay coincidencia, en este caso, en el User_screen_name.

Mi pregunta es: ¿hay alguna forma de decirle que, cuando la fila 1 haya pasado por las 999.999 siguientes, la segunda no vuelva a mirar la fila 1 y luego las 999.998 siguientes? De esta forma, a medida que más filas han sido analizadas, cada vez tomará menos tiempo el proceso dado que cada vez quedarán menos filas por revisar.

No sé si me explico. Tengo la impresión de que este proceso pasa el 1.000.000 de filas revisando el 1.000.000 de filas, cuando es evidente que las filas ya procesadas no deberían recorrerse de nuevo, puesto que los User_screen_name de las filas anteriores ya han sido procesados a lo largo del proceso.

Un poco confuso explicarlo... cualquier duda, trataré de explicarme mejor.

Si alguien sabe como ejecutar este proceso de otra forma que sea mucho más rápida... bienvenida será también :)

¡¡Muchas gracias!!

2 respuestas 2

1
d2 = {"User_screen_name": ["Pedro","Marta","Pedro","Silvia","Marta"], "post": ["Buena idea", "¡Estupendo!", "¡Disfruta!", "Buen hotel", "De barbacoa"], "interacciones": [10,3,21,2,3], "comentarios": [3,1,4,1,4], "User_description": ["Fotógrafo","Carpe Diem","Fotógrafo","Chef","Carpe Diem"]}
df2 = pd.DataFrame(data=d2)

group = pd.DataFrame({'post' : df2.groupby(["User_screen_name", "User_description"])["post"].count(), 
                    'interacciones' : df2.groupby(["User_screen_name", "User_description"])["interacciones"].sum(),
                    'comentarios' : df2.groupby(["User_screen_name", "User_description"])["comentarios"].sum()}).reset_index()
group

Creo que esto valdría.

    User_screen_name    User_description    post    interacciones   comentarios
0   Marta               Carpe Diem            2           6                 5
1   Pedro               Fotógrafo             2          31              7
2   Silvia                Chef                1             2               1
1
  • Menuda forma de complicarme la vida. Mucho más simple de esta forma, y más rápido SEGURO. Lo voy a comprobar. ¡Muchas gracias!
    – Deshume
    Commented el 13 jul. 2020 a las 12:33
0

No me queda muy claro. Te pongo el comentario aquí porque no tengo puntos suficientes para comentarte. Me pasó algo parecido ayer. Tenía un dataframe bastante grande del que tenía 3 columnas que cotejar, lo que se volvía un proceso de eficiencia O(xyz), bastante pesado.

Lo mejor que puedes hacer en dataframes es ordenar para que todo coincida y posteriormente realizar operaciones Numpy sobre ellas, ya que al estar vectorizadas son mucho más rápidas que realizar bucles.

De todas maneras creo que tu método es un poco "overkill". ¿Puedes explicar la estructura de tu database original?

Veo que segunda es algo así como:

User Interacciones Com.Totales Desc.Usuario Cont.Relevante
Usuario1 Suma Int Suma Com Desc Suma Cont Relevante
Usuario2 Suma Int Suma Com Desc Suma Cont Relevante
Usuario3 Suma Int Suma Com Desc Suma Cont Relevante

Creo que puedes hacerlo todo con una simple transformación de tu primera database, ¿puedes explicar la estructura? Gracias.

2
  • Hola! Muchas gracias. Edito la pregunta para explicar la BBDD original. Un saludo!
    – Deshume
    Commented el 2 jul. 2020 a las 8:54
  • ¿Alguna sugerencia? ¡Muchas gracias!
    – Deshume
    Commented el 7 jul. 2020 a las 9:41

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.