¡Buenos días!
Tengo un dataframe que luego quiero pasar por este proceso. Basicamente, lo agrupo todo por una columna y luego sumo y agrego en un nuevo df (df_usuarios_unicos).
En el df original, en cada fila, hay una publicación. Lo que hago es, con el proceso que sigue, crear un df que tenga en cada fila un usuario, y en cada columna algunos atributos (por ejemplo, número de publicaciones).
A continuación muestro el aspecto de la bbdd original:
User_screen_name post interacciones comentarios User_description
Pedro "Buena idea" 10 3 "Fotógrafo"
Marta "¡Estupendo! 3 1 "Carpe Diem"
Pedro "¡Disfruta! 21 4 "Fotógrafo"
Silvia "Buen hotel" 2 1 "Chef"
Marta "De barbacoa" 3 4 "Carpe Diem"
Es un extracto. Lo que quiero es un df que agrupe por User_screen_name y me ofrezca datos de los usuarios. Que quedase así:
User_screen_name post interacciones_totales suma_comentarios_totales User_description
Pedro 2 31 7 "Fotógrafo"
Marta 2 6 5 "Carpe Diem"
Silvia 1 2 1 "Chef"
Como se puede ver, se ha indicado en la columna "Post" la cantidad total de posts, en interacciones_totales se han sumado las interacciones que han recibido todas sus publicaciones, etc. Cosas como "User_description" se toman tal como aparecen sin modificarse.
El proceso funciona correctamente [Aviso: Este es un extracto del proceso real y las tablas ejemplos inventados, por lo que puede haber diferencias entre los nombres y procesos del siguiente código y los resultados de la tabla anterior.]:
lista_del_diccionario=list() #definimos una lista de todas las listas que haremos
count=0
for k in df.groupby("User_screen_name").groups.keys():
print("\r", count, end=" ")
count+=1
user_data=dict() #ahora decimos que es un diccionario en blanco y luego definimos los valores
data=df.groupby("User_screen_name").get_group(k)
interacciones_totales=data.loc[data["Tipo"]=="Post"].interacciones.sum() #aqui tenemos la suma de las interacciones
suma_comentarios_totales=data.loc[data["Tipo"]=="COMENTARIO"].shape[0]
user_description=data.iloc[0,24]
user_data.update({
"User_screen_name":k,
"interacciones_totales":interacciones_totales,
"suma_comentarios_totales":suma_comentarios_totales,
"user_description":user_description,
})
lista_del_diccionario.append(user_data) #Agregamos el diccionario que acabamos de crear a "lista_del_diccionario"
df_usuarios_unicos=pd.DataFrame(lista_del_diccionario)
¿Cuál es el tema? Bueno, si el df original es corto no hay problema, pero si tengo 1.000.000 de filas se vuelve ETERNO. Además, aquí hay solo una muestra; en verdad opero con más de 20 columnas.
Entiendo que lo que hace es, para cada fila, revisa en todas las filas anteriores y posteriores a ella si hay coincidencia, en este caso, en el User_screen_name.
Mi pregunta es: ¿hay alguna forma de decirle que, cuando la fila 1 haya pasado por las 999.999 siguientes, la segunda no vuelva a mirar la fila 1 y luego las 999.998 siguientes? De esta forma, a medida que más filas han sido analizadas, cada vez tomará menos tiempo el proceso dado que cada vez quedarán menos filas por revisar.
No sé si me explico. Tengo la impresión de que este proceso pasa el 1.000.000 de filas revisando el 1.000.000 de filas, cuando es evidente que las filas ya procesadas no deberían recorrerse de nuevo, puesto que los User_screen_name de las filas anteriores ya han sido procesados a lo largo del proceso.
Un poco confuso explicarlo... cualquier duda, trataré de explicarme mejor.
Si alguien sabe como ejecutar este proceso de otra forma que sea mucho más rápida... bienvenida será también :)
¡¡Muchas gracias!!