La solución más eficiente y flexible probablemente sea utilizar df.groupby()
. Es una función muy flexible que permite agrupar los datos del dataframe en bloques según diferentes criterios, dependiendo de qué parámetro le pases.
Si le pasas (a df.groupby()
) una función como parámetro, esa función será llamada para cada valor del index
del dataframe, y agrupará todos los que retornen un mismo resultado. Así que podemos usar una función que haga index//200
para agrupar de 200 en 200 (pues la operacion de división entera //
da el mismo resultado para los 200 primeros, los 200 siguientes, etc.
El resultado de groupby()
es un iterable, y cada vez que iteres por él te dará una tupla con dos elementos. El primero es el número del grupo (comienza en y va creciendo de 1 en 1) y el segundo es el "grupo en sí" que es en realidad otro dataframe con las filas contenidas en ese grupo. Puedes hacer con él ya lo que necesites (por ejemplo volcarlos a disco, guardarlos en una lista, etc).
Demo
Empecemos por crear un dataframe de ejemplo con 1000 filas y números aleatorios en las columnas:
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.random((1000, 2)))
print(df)
0 1
0 0.974699 0.755930
1 0.483122 0.965453
2 0.756224 0.378457
3 0.779332 0.713023
4 0.867252 0.588019
.. ... ...
995 0.766487 0.563785
996 0.249918 0.366718
997 0.415752 0.906784
998 0.152868 0.542879
999 0.086862 0.475589
[1000 rows x 2 columns]
Agrupemos usando la técnica antes descrita, y cada grupo me limito a imprimirlo:
chunk_size = 200
for i, g in df.groupby(lambda x: x//chunk_size):
print(g)
Esto imprime en este caso 5 dataframes, cada uno con 200 filas. En vez de imprimirlos puedes por ejemplo guardarlos a disco como excel:
for i, g in df.groupby(lambda x: x//chunk_size):
g.to_excel(f"Grupo_{i:02d}.xlsx")
Esto creará 5 ficheros excel llamados "Grupo_00.xlsx", "Grupo_01.xlsx", etc.
También puedes agruparlos en una lista, si prefieres. En este caso puedes usar una comprensión:
lista = [g for i,g in df.groupby(lambda x: x//chunk_size)]
De este modo en lista[0]
tienes el primer grupo, etc. Aunque no veo mucho sentido a hacer esto, porque el iterable devuelto por .groupby()
también tiene métodos para acceder a cada grupo separadamente, por lo que no necesitas guardarlos en ninguna lista. Por ejemplo:
grupos = df.groupby(lambda x: x//chunk_size)
print(grupos.get_group(2))
te imprime el grupo 2 (que es el tercero, recuerda que empiezan en 0).
0 1
400 0.725717 0.695893
401 0.385355 0.543717
402 0.816490 0.650942
403 0.535491 0.229156
404 0.320529 0.101679
.. ... ...
595 0.591883 0.462457
596 0.567303 0.670027
597 0.338256 0.987131
598 0.711745 0.821882
599 0.722055 0.338707
[200 rows x 2 columns]
Nota
Para que este enfoque funcione, el index de df
ha de estar compuesto por enteros consecutivos que empiecen en 0. Ese es el comportamiento por defecto de un index pandas, pero si tu df
tiene otro tipo de índice, siempre puedes aplicar un .reset_index()