2

Tengo una carpeta con miles de archivos que subir a mi S3, por ahora lo realizo así, sin problemas:

for x in images_full_path:
        data = open(x,'rb')
        name_file = os.path.basename(x)

        s3.Bucket(bucket_name).put_object(Key=AWS_folder_name+name_file, Body = data)

Como podría acelerar el proceso de upload añadiendo varios hilos concurrentes?

1 respuesta 1

2

Se me ocurre que lo más sencillo que puedes hacer es intentar usar la clase Pool del módulo multiprocessing:

from multiprocessing import Pool

def upload_to_s3(file):
    # Acá va tu magia para subir los archivos


def main():
    images_full_path = [...] # Tus archivos
    pool = Pool()
    pool.map(upload_to_s3, images_full_path)

Lo que va hacer es, por cada elemento en images_full_path aplicarle la función upload_to_s3. En esta función debe estar el código para subir a S3 como lo has estado haciendo.

Pool usa cierta cantidad de "workers" para ejecutar el trabajo en paralelo. Si no le pasas explícitamente el número de "workers" usará la cantidad de CPUs.

No usa hilos (threads), pero tal vez te sea útil para comenzar.

3
  • Si upload_to_s3 necesita mas variables a parte de (file), como se las puedo pasar? Perdon pero no estoy familiarizado con pool.map
    – Xavi
    Commented el 11 jul. 2017 a las 17:02
  • @Xavi crea una lista con tuplas o diccionarios con los argumentos y los desempaquetas en la función directamente como cualquier iterable o usando la sintaxis *args/**kwargs. Otra opción es usar pool.starmap(), aquí tienes una pregunta del sitio en inglés donde muestran múltiples opciones (entre ellas las que te comento) para pasar varios argumentos a la función objetivo en pool.map: stackoverflow.com/q/5442910/7131499. Saludos.
    – FJSevilla
    Commented el 11 jul. 2017 a las 17:34
  • Me funcionó a la perfección. Muchas gracias!
    – Xavi
    Commented el 12 jul. 2017 a las 7:53

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.