3

Estoy haciendo un programa donde abro un documento excel desde S3 (AWS), lo filtro y después lo guardo (se guarda en mi equipo) y ese mismo archivo filtrado lo subo a S3, ahí todo bien pero ese mismo programa lo subo a lambdas (AWS) y me arroja el siguiente error: introducir la descripción de la imagen aquí Y creo es porque el programa busca guardar el archivo filtrado localmente y en lambda no lo puede hacer, entonces necesito que ese archivo que ya filtre se mantenga en alguna variable para después poderlo subir a S3. Gracias.

Código:

#Importamos las bibliotecas pandas & tinys3
import pandas as pd
import tinys3

# Conexion a S3
conn = tinys3.Connection(S3_ACCESS_KEY,S3_SECRET_KEY)

# Declaramos una variable para poder darle la lectura del archivo
xls = pd.read_excel('NombreArchivo.xlsx','Hoja1',usecols=['UO','Estatus_Equipo','Estatus_Eq_Disponible','No_Ptas'])

# Declaramos otra variable para poder hacer el filtro
filtro = xls[ (xls.UO.isin(['TLALNEPANTLA', 'TLALNEPANTLA 2'])) & (xls.Estatus_Equipo == 'DISPONIBLE') ] 

#Muestra la información que contiene la variable filtro
print ( filtro )

#Crea el archivo con extensión .XLSX sin los indices (automáticamente se guarda en mi equipo)
filtro.to_excel('Filtrado.xlsx', index=False)

# Declaramos una variable para poder leer el archivo creado (guardado en equipo)
fx = open('Filtrado.xlsx','rb')

# Subimos el archivo
conn.upload('Filtrado.xlsx',fx,'S3bucket')

2 respuestas 2

1

Si tu diagnóstico es correcto y lo que necesitas es un objeto file-like en memoria y no un archivo en disco, puedes hacer uso de io.BytesIO:

import io

fx = io.BytesIO()
writer = pd.ExcelWriter(fx, engine='xlsxwriter')
filtro.to_excel(writer, index=False)
writer.save()
fx.seek(0)

conn.upload('Filtrado.xlsx', fx, 'S3bucket')

Este método funciona perfectamente con Pandas >= 0.17 y en principio, mirando el código fuente por encima, no debe haber ningún problema con tinys3.Connection.upload, aunque no puedo comprobar esto último.

1
  • Eres un crack, se arreglo el error, y también el error era por que configure mal el tiempo de espera de lambda, muchas gracias
    – Luis Vera
    el 25 ago. 2019 a las 3:55
0

En las lambdas es posible guardar archivos en local, pero tienen que ser bajo la ruta "/tmp/". Tiene un límite de almacenamiento temporal en disco de 500MB (ampliable).

REF: https://aws.amazon.com/es/lambda/faqs/ apartado P: ¿Qué sucede si necesito espacio de desecho en disco para la función de AWS Lambda?

Con varias pruebas que he realizado, he podido observar que a veces se comparte dicho almacenamiento.

Te adjunto un código de ejemplo por si quieres hacer una prueba

# os necesario para poder eliminar los archivos de disco y boto3 para acceder a recursos de amazon, en este caso el s3
import os
import boto3

os.system("rm -rf /tmp/*")

s3 = boto3.resource('s3')
bucket = s3.Bucket("bucketPrueba")

bucket.download_file("rutaEnS3ArchivoADescargarPorEjemploUnPDF", "/tmp/nombreFicheroTemporalEnDisco.pdf")

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.