Estoy intentando realizar un proceso de ingesta con múltiples archivos (1200), el problema es que cada archivo pesa en promedio 300 MB, se pone complejo dada la poca RAM que tengo (16GB), quisiera saber si existe un método de poder realizar este proceso de forma más optima (lista, diccionario...), (pd.concat, list_data.append(data)). (Ya intenté chunksize).
def leer_base_dicc(path):
filenames = glob.glob(path + "/*.csv")
dataframes = {}
for file in filenames:
start_time = time.time()
#size = os.stat(file).st_size
#dataframes[file.split('/')[-1].replace('.csv', '')] = [pd.read_csv(file), size]
dataframes[file.split('/')[-1].replace('.csv', '')] = pd.read_csv(file,
iterator=True,
chunksize=chunksize,
low_memory=False
)
print("Tiempo de carga del archivo",file.split('/')[-1]," es de : %.10f segundos." % elapsed_time)
return dataframes