0

intento dividir un dataframe de 10000 registros en bloques de 200 de manera óptima en python. uso un monotonically_increasing_id y luego los divido por rangos, pero es muy lento. ¿existe otro método?

offset=200
num_iteraciones=50
df_index = df_cargar.withColumn("__id", monotonically_increasing_id())
for i in range(num_iteraciones):
  t0 = datetime.now(pytz.timezone('America/Guayaquil')) 
  
  
  lim_inf = i*Offset
  lim_sup = (i+1)*Offset 
  if i < num_iteraciones-1:
    df_block = df_index.filter(f"__id>={lim_inf} and __id<{lim_sup}").drop("__id") 
    df_block_count=df_block.count()
    print(f"Bloque {i}: registros {df_block_count}")
    print(f"----> AQUI CREA EL BLOQUE<---- con: {t0}")
   
    

  else:
    df_block = df_index.filter(f"__id>={lim_inf}").drop("__id")
    df_block_count=df_block.count()
    print(f"Bloque {i}: registros {df_block_count}")
    print(f"----> AQUI CREA EL BLOQUE<---- con: {t0}")

2 respuestas 2

0

Puede que esto te sirva

from more_itertools import sliced
CHUNK_SIZE = 200 // Tamaño de cada "parte" del df

index_slices = sliced(range(len(df)), CHUNK_SIZE) //Slices de índices

for index_slice in index_slices:
  chunk = df.iloc[index_slice] //Aquí filtramos el df por los índices 
1
  • por la nomenclatura es un dataframe de pandas "df.iloc" es posible calcular el el pero del dataframe y en función de eso dividirlo? es decir que cada parte sea de 150kbits x ejemplo Commented el 16 jul. 2022 a las 21:33
0

La solución más eficiente y flexible probablemente sea utilizar df.groupby(). Es una función muy flexible que permite agrupar los datos del dataframe en bloques según diferentes criterios, dependiendo de qué parámetro le pases.

Si le pasas (a df.groupby()) una función como parámetro, esa función será llamada para cada valor del index del dataframe, y agrupará todos los que retornen un mismo resultado. Así que podemos usar una función que haga index//200 para agrupar de 200 en 200 (pues la operacion de división entera // da el mismo resultado para los 200 primeros, los 200 siguientes, etc.

El resultado de groupby() es un iterable, y cada vez que iteres por él te dará una tupla con dos elementos. El primero es el número del grupo (comienza en y va creciendo de 1 en 1) y el segundo es el "grupo en sí" que es en realidad otro dataframe con las filas contenidas en ese grupo. Puedes hacer con él ya lo que necesites (por ejemplo volcarlos a disco, guardarlos en una lista, etc).

Demo

Empecemos por crear un dataframe de ejemplo con 1000 filas y números aleatorios en las columnas:

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.random((1000, 2)))
print(df)
            0         1
0    0.974699  0.755930
1    0.483122  0.965453
2    0.756224  0.378457
3    0.779332  0.713023
4    0.867252  0.588019
..        ...       ...
995  0.766487  0.563785
996  0.249918  0.366718
997  0.415752  0.906784
998  0.152868  0.542879
999  0.086862  0.475589

[1000 rows x 2 columns]

Agrupemos usando la técnica antes descrita, y cada grupo me limito a imprimirlo:

chunk_size = 200
for i, g in df.groupby(lambda x: x//chunk_size):
  print(g)

Esto imprime en este caso 5 dataframes, cada uno con 200 filas. En vez de imprimirlos puedes por ejemplo guardarlos a disco como excel:

for i, g in df.groupby(lambda x: x//chunk_size):
  g.to_excel(f"Grupo_{i:02d}.xlsx")

Esto creará 5 ficheros excel llamados "Grupo_00.xlsx", "Grupo_01.xlsx", etc.

También puedes agruparlos en una lista, si prefieres. En este caso puedes usar una comprensión:

lista = [g for i,g in df.groupby(lambda x: x//chunk_size)]

De este modo en lista[0] tienes el primer grupo, etc. Aunque no veo mucho sentido a hacer esto, porque el iterable devuelto por .groupby() también tiene métodos para acceder a cada grupo separadamente, por lo que no necesitas guardarlos en ninguna lista. Por ejemplo:

grupos = df.groupby(lambda x: x//chunk_size)
print(grupos.get_group(2))

te imprime el grupo 2 (que es el tercero, recuerda que empiezan en 0).

            0         1
400  0.725717  0.695893
401  0.385355  0.543717
402  0.816490  0.650942
403  0.535491  0.229156
404  0.320529  0.101679
..        ...       ...
595  0.591883  0.462457
596  0.567303  0.670027
597  0.338256  0.987131
598  0.711745  0.821882
599  0.722055  0.338707

[200 rows x 2 columns]

Nota

Para que este enfoque funcione, el index de df ha de estar compuesto por enteros consecutivos que empiecen en 0. Ese es el comportamiento por defecto de un index pandas, pero si tu df tiene otro tipo de índice, siempre puedes aplicar un .reset_index()

1
  • es una increible solución... lo resolví de mi lado usando el index de pandas marcando interaccioens de un min y un max usando un .iloc pero probaré tu método para ver cual es más eficiente. estoy usando pyspark y quisiera aprovechar el procesamiento distribuido que ofrece. Commented el 16 jul. 2022 a las 21:30

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.