0

Estoy intentando descargarme un zip con archivos extraidos de S3 Amazon en Python pero me da error.

El código sería este:

   for id_file in files:
        chargeFile=ChargeFiles.objects.get(id=id_file)
        ...
        s3 = boto3.client('s3',aws_access_key_id=settings.AWS_ACCESS_KEY_ID,aws_secret_access_key=settings.AWS_SECRET_ACCESS_KEY,region_name='eu-west-2')
        s3_response_object['Body'] = s3_response_object['Body'].read().decode("ISO-8859-1")
        s3_response_object['Key'] = settings.AWS_ACCESS_KEY_ID+'/'+settings.AWS_SECRET_ACCESS_KEY
        
        location = s3.get_bucket_location(Bucket=BUCKET_NAME)['LocationConstraint']
        url = "https://s3-%s.amazonaws.com/%s/%s" % (location, BUCKET_NAME, BUCKET_FILE_NAME)

        s3_response_object['URL'] = url
        s3_response_object=s3.get_object(Bucket=BUCKET_NAME,Key=BUCKET_FILE_NAME)
        ...
        //LA DESCARGA DEL ARCHIVO LA HACE CORRECTA
        resultFiles.append(s3_response_object)

    full_zip_in_memory = generate_zip(resultFiles)

    response = HttpResponse(full_zip_in_memory, content_type='application/force-download')
            response['Content-Disposition'] = 'attachment; filename="%s"' % 'documentacion_incidencias.zip'
            return response

Y la función generate_zip es la siguiente:

   def generate_zip(files):
      mem_zip = BytesIO()

      with zipfile.ZipFile(mem_zip, mode="w",compression=zipfile.ZIP_DEFLATED) as zf:
        for f in files:
          zf.writestr(f[0], f[1])

       return mem_zip.getvalue()

Me devuelve error con un 0 simplemente, en la fila zf.writestr(f[0], f[1])

    KeyError at /incidents/
     0
    Request Method: POST
    Request URL:    http://127.0.0.1:8000/incidents/
    Django Version: 2.2.1
    Exception Type: KeyError
    Exception Value:    
    0
    Exception Location:  truckers/viewsAjax.py in generate_zip, line 1667
    Python Executable:  /usr/bin/python3
    Python Version: 3.6.9
    Python Path:    
    [---]
  Server time:  Vie, 23 Abr 2021 08:38:34 +0200
 Traceback Switch to copy-and-paste view
  /home/miguel/.local/lib/python3.6/site- 
  packages/django/core/handlers/exception.py in inner
        response = get_response(request) …
     ▶ Local vars
       /home/miguel/.local/lib/python3.6/site- 
    packages/django/core/handlers/base.py in _get_response
            response = self.process_exception_by_middleware(e, 
    request) …
    ▶ Local vars
     /home/miguel/.local/lib/python3.6/site- 
        packages/django/core/handlers/base.py in _get_response
            response = wrapped_callback(request, *callback_args, 
      **callback_kwargs) …
    ▶ Local vars
      /home/.local/lib/python3.6/site- 
      packages/django/contrib/auth/decorators.py in _wrapped_view
            return view_func(request, *args, **kwargs) …
    ▶ Local vars /incidents/views.py in showIncidents
            full_zip_in_memory = generate_zip(resultFiles) …
    ▶ Local vars incidents/views.py in generate_zip
        zf.writestr(f[0], f[1]) 

¿Como puedo coger corréctamente el objeto que devuelve Amazon? ¿O Es correcta la función?

Gracias.

1 respuesta 1

0

No es respuesta total ya que no podemos ver todo el código o un ejemplo mínimo [1]. También sería útil ver el error completo (puedes ver el output completo en tu cloudwatch), cual versión de python y que modulos estás usando. Es mejor que darnos el trabajo de asumir en base al poco código.

Dicho eso, pareces estar procesando varios archivos en un solo lambda (no has dicho tampoco de que tamaño son). Pero recuerda que un lambda tiene por default 128MB de RAM y 512MB de memoria "física". Pudiera ser que estas utilizando toda la memoria física si son muchos archivos, ya que aparte de ocupar el espacio de la descarga, también estás creando un nuevo archivo que, aun siendo compreso, está ocupando espacio en disco. Otro detalle es que la operación de ZIP ocupa memoria, talves tus archivos exigen más memoria de lo que una lambda puede hacer. Todo es son suposiciones sin que dés los detalles necesarios (agrégalos a tu pregunta y a cualquier pregunta en el futuro).

Asumiendo que el límite del lamba sea el problema y no algo en el código que no se ve, sugiero que intentes otra estrategia. El problema de procesar archivos zip en lambda es relativamente común y la estratégia más usada es usar streams. Puedes combinar el uso de ese módulo con boto3 (que creo no estas usando pero sería el ideal) y procesar los archivos a como están llegando byte por byte.

Otra solución más rápida, pero quizás no la ideal, es simplemente aumentar la configuracion de tu lambda en cuestion de ambos memoria RAM y física.

Con más datos con gusto edito la respuesta. Suerte!

[1] https://es.stackoverflow.com/help/minimal-reproducible-example

3
  • Editado. Ya he puesto el error completo. No creo que sea por el tamaño ya que solo son dos archivos PDF. Commented el 23 abr. 2021 a las 6:47
  • Cual libreria estas usando para interactuar con aws?
    – keponk
    Commented el 27 abr. 2021 a las 9:48
  • Estoy utilizando la librería Boto3 en Django Commented el 27 abr. 2021 a las 12:43

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.