1

Tengo un dataset gigante y me gustaría poder leerlo, modificarlo y volver a guardarlo. Debido a que es gigante, no puedo cargarlo todo en memoria, hacer las operaciones y volver a guardar, por lo que lo estoy intentando por trozos, pero no logro a completarlo.

Esto es lo que estoy haciendo:

#Voy leyendo trozos de 10 filas.
for chunk in pd.read_csv('./train_data.csv', chunksize=10):
    #Modifico los trozos eliminando y convirtiendo
    chunk['customer_ID'] = chunk['customer_ID'].apply(lambda x: int(x[-16:], 16)).astype('int64')
    chunk['S_2'] = pd.to_datetime(chunk['S_2'])
    #Intento juntar los trozos ya modificados en un nuevo DataFrame.
    df_train = pd.concat(chunk)

Me falla la parte de la concatenación... y quizá no sea necesario concatenar en nuevo DataFrame para poder ir escribiéndolo quizá a un nuevo archivo CSV, pero no sé cómo podría hacerlo "al vuelo".

Mis preguntas son: Cómo se concatena o crea un nuevo DataFrame donde voy agregando los trozos? Cómo podría ir escribiendo directamente los trozos a un nuevo archivo para evitarme el nuevo DataFrame que podría darme problemas de memoria?

Gracias!

1
  • Buen día, si la respuesta te fue útil no olvides aceptarla, de esa forma ayudas a otros usuarios a encontrar la solución a preguntas similares y al mismo tiempo ayudas a la comunidad a mantener abiertas únicamente las preguntas que no han sido resueltas. ¿Qué debo hacer cuando alguien contesta mi pregunta?. Commented el 6 dic. 2022 a las 0:10

1 respuesta 1

1

Buen día,

No es buena idea utilizar pd.concat() adentro del ciclo for ya que eso ocasiona O(N^2) operaciones. Cada vez que utilizas pd.concat() procesas un dataframe y la operación devuelve un nuevo dataframe, por eso es N^2.

Para optimizar memoria y velocidad lo mejor sería agregar todas las partes a una lista y luego utilizar pd.DataFrame() o pd.concat() una única vez para unir todas las partes.

Ejemplo genérico con el siguiente dataframe en un archivo "sample2.csv"


    col1    col2
0   1       11
1   2       12
2   3       13
3   4       14
4   5       15
5   6       16
6   7       17
7   8       18
8   9       19
9   10      20

Primero creamos una lista vacía, obtenemos las partes (Chunks) y hacemos el proceso que se necesite (En este ejemplo es algo muy sencillo), adjuntamos las partes a la lista y al final utilizamos una sola vez pd.concat()

Ejemplo completo:

import pandas as pd

chunks = []

for chunk in pd.read_csv('sample2.csv', chunksize=5):
    chunk['col3'] = chunk['col1'] + chunk['col2']
    chunks.append(chunk)
    
df = pd.concat(chunks)

Esto devuelve el siguiente dataframe


    col1    col2    col3
0   1       11      12
1   2       12      14
2   3       13      16
3   4       14      18
4   5       15      20
5   6       16      22
6   7       17      24
7   8       18      26
8   9       19      28
9   10      20      30

Edición: Con el fin de aclarar por qué no funciona pd.concat() (Pero no sería eficiente como lo expliqué en la sección anterior).

Lo que hace falta es utilizar df_train adentro de pd.concat(), pero df_train debe ser un dataframe por lo que haría falta que crees uno vacío.

Ejemplo genérico:

import pandas as pd

df = pd.DataFrame()

for chunk in pd.read_csv('sample2.csv', chunksize=5):
    chunk['col3'] = chunk['col1'] + chunk['col2']
    df = pd.concat([df, chunk])

Edición 2: Ahora, para leer el dataframe modificarlo y escribirlo en un nuevo archivo podrías utilizar to_csv()

Ejemplo genérico:

import pandas as pd

header = True

for chunk in pd.read_csv('sample2.csv', chunksize=5):
    chunk['col3'] = chunk['col1'] + chunk['col2']
    chunk.to_csv('new_sample2.csv', header = header, mode='a')
    header = False

El argumento header hace que los nombres de las columnas se muestren, si deseas que cada chunk se escriba con los nombres de las columnas entonces déjalo en True, pero si deseas que únicamente se escriban una vez al inicio del archivo entonces puedes utilizarlo como lo puse en el ejemplo, en la primera iteración será True y en las demás será False.

El argumento mode='a' significa append es decir, concatena los chunks en un mismo archivo

6
  • Muchas gracias por responder! Commented el 25 jun. 2022 a las 11:19
  • Buen día @RobertoGimenez, si la respuesta te sirvió por favor acéptala, así ayudas a otros usuarios a encontrar la solución a sus preguntas y al mismo tiempo ayudas a la comunidad a mantener abiertas únicamente las preguntas que no han sido resueltas. Lectura recomendada ¿Qué debo hacer cuando alguien contesta mi pregunta? Commented el 26 jun. 2022 a las 8:04
  • Gracias por la recomendación. De hecho, estoy aún revisando la respuesta para verificar si es útil o no, ya que en el primer intento, tras varios días probándolo, tuve que resetear el equipo porque no respondía... Dado que el dataframe es tan grande, me lleva tiempo la verificación. Encuentro algunos problemas, ya que el nuevo archivo generado es aún más grande que el original, así como el hecho de que hacer chunks para agruparlos en un array y concatenar en una dataframe. Lo dicho, en cuanto pueda validarlo, lo acepto. Commented el 29 jun. 2022 a las 9:47
  • En la última parte de la respuesta puse un método para ir escribiendo un archivo al mismo tiempo que el original se procesa, yo creo que esa opción sería más conveniente Commented el 29 jun. 2022 a las 10:00
  • Sí, yo tb lo creo. Lo que no acabo de entender y estoy revisando es por qué el nuevo archivo generado es mayor que el original después de eliminar datos del original que supuestamente deberían hacer el archivo más pequeño. Creo que en mi revisión, hice alguna cosa mal y estoy chequeando esta parte. Cuando lo tenga, comento. Commented el 29 jun. 2022 a las 10:03

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.