0

Estoy intentando realizar un proceso de ingesta con múltiples archivos (1200), el problema es que cada archivo pesa en promedio 300 MB, se pone complejo dada la poca RAM que tengo (16GB), quisiera saber si existe un método de poder realizar este proceso de forma más optima (lista, diccionario...), (pd.concat, list_data.append(data)). (Ya intenté chunksize).

def leer_base_dicc(path):
filenames = glob.glob(path + "/*.csv")
dataframes = {}
for file in filenames:
    start_time = time.time() 
    #size = os.stat(file).st_size
    #dataframes[file.split('/')[-1].replace('.csv', '')] = [pd.read_csv(file), size]
    dataframes[file.split('/')[-1].replace('.csv', '')] = pd.read_csv(file, 
                                                                     iterator=True, 
                                                                     chunksize=chunksize, 
                                                                     low_memory=False
                                                                    )      

    print("Tiempo de carga del archivo",file.split('/')[-1]," es de : %.10f segundos." % elapsed_time)
return dataframes
3
  • ¿necesitas los 1200 datos en memoria al mismo tiempo? ¿necesitas todas las columnas de cada data.frame? Commented el 13 sept. 2020 a las 15:30
  • Seguramente no, lo que intento conseguir es un proceso se extracción recursivo y que no utilice muchos recursos.
    – Jefferson
    Commented el 13 sept. 2020 a las 21:07
  • No hay ningún parámetro mágico, para optimizar los recursos, tienes que diseñar un procedimiento que minimize los datos en memoria, no hay mucha ciencia. Mi sugerencia 1) lee de los archivos solo las columnas que necesites 2) haz una iteración por cada archivo y realiza el proceso que corresponda, 3) Si fuera necesario, salva los datos en archivos físicos y libera la memoria. Commented el 13 sept. 2020 a las 21:29

1 respuesta 1

1

No parece ser viable, la memoria siempre se ve afectada por el hecho de hacer lecturas de disco. En tu caso, 1200 archivos de ~300MB superan los 16GB y por tanto se tendrán que paginar a disco aquellos archivos que no estén en uso para dar prioridad a los últimos archivos que tu programa intenta leer.

2
  • Ok, entendido, pero hay alguna forma de optimizar los recursos? utilizar algo como iterator=True, chunksize=chunksize, low_memory=False ?
    – Jefferson
    Commented el 13 sept. 2020 a las 21:09
  • Intenta filtrar columnas que no necesitas, reducir e tamaño del chunksize verifica que puedas usar index_col=None, header=0 si todos los CVS son tienen las mismas columnas. También pd.concat puede servir si tienes la opción de concatenar el contenido de los archivos.
    – elulcao
    Commented el 13 sept. 2020 a las 21:28

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.