0

Estoy realizando una importación de varios archivos en Excel a un dataframe, realizo algunas modificaciones y ese dataframe consolidado debo exportarlo a un Excel final, estoy usando este codigo:

import pandas as pd 
import glob
from tkinter import filedialog

path = r'C:\Users\arcilajo01\Desktop\Store_Type\*.xlsx'
path_salida = 'C:/Users/arcilajo01/Desktop/Store_Type/Consolidado/Archivo_.xlsx'
files = glob.glob(path)
#print(files)

lista_df = []

for filename in files:
    print(filename)
    df = pd.read_excel(filename)
    lista_df.append(df)

dfUnificado = pd.concat(lista_df,ignore_index=True) 
dffinal = dfUnificado.fillna('')

print(path_salida)
print(dffinal.head(20))
#DCT_Unif = dfUnificado.to_excel(path_salida,sheet_name='LATAM', index=False, encoding= 'utf-8-sig')
with pd.ExcelWriter(path_salida, mode='w') as writer:
    dffinal.to_excel(path_salida, sheet_name="Export", index=False) 
    writer.save()

pero al momento de ejecutarla aparecen varios errores, anteriormente he usado esta misma esctructura y ha funcionado, debe ser algun detalle pero en esta oportunidad no logro encontrar la falla.

Errores que arroja al momento de la ejecución

0

2 respuestas 2

0

Te está dando un memoryError, lo que tiene bastante mala pinta.

O bien el excel que intentas generar es enorme, o es un bug (memory leak) de alguna de las librerías que usas.

Si no se trata de un bug, puedes intentar reducir el consumo de memoria reduciendo la cantidad de dataframes que tienes a la vez en memoria. Por ejemplo, puedes crear el dataframe unificado por acumulación, dentro del bucle, en vez de cargar antes la lista con todos los dataframes. También se puede reutilizar la variable dffinal en vez de crear otra nueva (dfUnificado) para que el recolector de basura de Python vaya liberando la memoria ocupada por los objetos a los que esas variables se referían antes.

Por ejemplo, el siguiente código aplica ambas estrategias:

import pandas as pd 
import glob
from tkinter import filedialog

path = r'C:\Users\arcilajo01\Desktop\Store_Type\*.xlsx'
path_salida = 'C:/Users/arcilajo01/Desktop/Store_Type/Consolidado/Archivo_.xlsx'
files = glob.glob(path)

dffinal = pd.DataFrame()

for filename in files:
    print(filename)
    df = pd.read_excel(filename)
    dffinal = pd.concat([dffinal, df], ignore_index=True)
del df   # Borramos el último leido, para ahorrar algo más de memoria

dffinal = dffinal.fillna('')

También puedes cambiarte a un python de 64 bits, por si estuvieras usando uno de 32 bits y el consumo de memoria estuviera cercano a los 4GB (que es la máxima cantidad de memoria que se puede manejar con 32 bits).

6
  • Implemente lo que me sugieres y mejor el tiempo de ejecucion un poco pero aun se presenta el problema justo cuando se debe exportar al excel, en cuanto al tamaño realmente no es tan grande, este dffinal contiene 94762 rows x 20 columns el 15 dic. 2020 a las 15:26
  • ¿Usas python de 64 bits? Porque entonces claramente sería un bug en alguna parte. Por otro lado, no entiendo bien el código con que guardas el archivo. ¿por qué no haces simplemente un dffinal.to_excel(path_salida, sheet_name="Export", index=False) ? ¿Por qué el contexto con el writer?
    – abulafia
    el 15 dic. 2020 a las 15:38
  • Es de 32 bits, dffinal.to_excel(path_salida, sheet_name="Export", index=False) esta fue mi primera opción y tambien falla el 15 dic. 2020 a las 15:51
  • Pues solo queda probar a instalar un python de 64 bits, a ver si eso soluciona el problema, Pero una tabla de las dimensiones que dices está muy lejos de necesitar 4GB, y del límite de 1048576 filas que soporta excel. Parece algún bug de la biblioteca de conversión a xml.
    – abulafia
    el 15 dic. 2020 a las 15:57
  • Instale 64-bit pero ahora es peor porque aparece el mensaje ** raise XLRDError(FILE_FORMAT_DESCRIPTIONS[file_format]+'; not supported') xlrd.biffh.XLRDError: Excel xlsx file; not supported** a pesar que tengo pandas y xlrd instalado el 15 dic. 2020 a las 20:23
0

Puede resolver el problema usando la libreria: openpyxl y agregando engine = 'openpyxl' tanto al momento de leer como de exportar a Excel, este fue el codigo final:

import openpyxl
import pandas as pd 
import glob

path = r'C:\Users\arcilajo01\Desktop\Store_Type\*.xlsx'
path_salida = 'C:/Users/arcilajo01/Desktop/Store_Type/Consolidado/Archivo_.xlsx'
files = glob.glob(path)
    
lista_df = []

for filename in files:
    print(filename)
    df = pd.read_excel(filename, engine = 'openpyxl')
    lista_df.append(df)

dfUnificado = pd.concat(lista_df,ignore_index=True)
.
.
. (codigo extra)
.
.
dffinal = dfUnificado.fillna('')

dffinal.to_excel(path_salida, sheet_name="Export", index=False, engine = 'openpyxl', encoding= 'utf-8-sig') 

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.