Buen día,
No es buena idea utilizar pd.concat()
adentro del ciclo for
ya que eso ocasiona O(N^2)
operaciones. Cada vez que utilizas pd.concat()
procesas un dataframe
y la operación devuelve un nuevo dataframe
, por eso es N^2
.
Para optimizar memoria y velocidad lo mejor sería agregar todas las partes a una lista y luego utilizar pd.DataFrame()
o pd.concat()
una única vez para unir todas las partes.
Ejemplo genérico con el siguiente dataframe
en un archivo "sample2.csv"
col1 col2
0 1 11
1 2 12
2 3 13
3 4 14
4 5 15
5 6 16
6 7 17
7 8 18
8 9 19
9 10 20
Primero creamos una lista vacía, obtenemos las partes (Chunks) y hacemos el proceso que se necesite (En este ejemplo es algo muy sencillo), adjuntamos las partes a la lista y al final utilizamos una sola vez pd.concat()
Ejemplo completo:
import pandas as pd
chunks = []
for chunk in pd.read_csv('sample2.csv', chunksize=5):
chunk['col3'] = chunk['col1'] + chunk['col2']
chunks.append(chunk)
df = pd.concat(chunks)
Esto devuelve el siguiente dataframe
col1 col2 col3
0 1 11 12
1 2 12 14
2 3 13 16
3 4 14 18
4 5 15 20
5 6 16 22
6 7 17 24
7 8 18 26
8 9 19 28
9 10 20 30
Edición: Con el fin de aclarar por qué no funciona pd.concat()
(Pero no sería eficiente como lo expliqué en la sección anterior).
Lo que hace falta es utilizar df_train
adentro de pd.concat()
, pero df_train
debe ser un dataframe
por lo que haría falta que crees uno vacío.
Ejemplo genérico:
import pandas as pd
df = pd.DataFrame()
for chunk in pd.read_csv('sample2.csv', chunksize=5):
chunk['col3'] = chunk['col1'] + chunk['col2']
df = pd.concat([df, chunk])
Edición 2: Ahora, para leer el dataframe
modificarlo y escribirlo en un nuevo archivo podrías utilizar to_csv()
Ejemplo genérico:
import pandas as pd
header = True
for chunk in pd.read_csv('sample2.csv', chunksize=5):
chunk['col3'] = chunk['col1'] + chunk['col2']
chunk.to_csv('new_sample2.csv', header = header, mode='a')
header = False
El argumento header
hace que los nombres de las columnas se muestren, si deseas que cada chunk
se escriba con los nombres de las columnas entonces déjalo en True
, pero si deseas que únicamente se escriban una vez al inicio del archivo entonces puedes utilizarlo como lo puse en el ejemplo, en la primera iteración será True
y en las demás será False
.
El argumento mode='a'
significa append
es decir, concatena los chunks en un mismo archivo