La recomendación es usar asyncio
siempre que sea posible, y dejar los threads sólo cuando sea inevitable.
asyncio
permite correr múltiples corutinas (funciones) en un sólo thread de ejecución, en un esquema de cooperativo: una corutina tiene el control hasta que lo retorna explícitamente, y es entregado a otra corutina.
Una corutina
Para demostrar la solución implementare una maqueta de la función de subida de videos como corutina. Está maqueta simplemente ira haciendo esperas de duración aleatoria. Cada espera simulara el envío de un trozo del video.
La corutina termina al "subir" el contenido deseado y retorna una tupla (nombre_archivo, bytes_subidos)
async def subir(video):
fs = file_size = random.randint(1_000, 10_000)
print(f"Subiendo {video}, tamano {file_size} bytes")
while file_size:
random_wait = random.randint(1, 5)
''' Simulamos una operación de envio al sitio
por una cantidad indeterminada de bytes
'''
await asyncio.sleep(random_wait)
bytes_out = random.randint(1, file_size)
file_size -= bytes_out
print(f"Enviados {bytes_out} bytes de {video}, {file_size} restantes")
print(f"Termino de {video}")
return video, fs
La única novedad es el prefijo async
en la definición. Esta palabra indica que se trata de una corutina asíncrona.
Una corutina es igual que una función normal, excepto que puede ejecutar un await
:
resultado = await async_funcion(parametros)
Esto funciona igual que una llamada tradicional: pasa parámetros y recibe resultados. La diferencia es que await
retorna el control a Python, quien puede ahora seguir con la ejecución de otra corutina del programa.
El uso de await
impide que la ejecución se quede bloqueada a la espera de que otro proceso (enviar bytes al servidor) termine. Mientras la corutina invocada no retorne, Python estará ejecutando otras corutinas.
Ejecución de múltiples corutinas
Esta corutina main
que lanza la ejecución de múltiples subidas y espera a que terminen para informar el resultado de cada una:
async def main():
tareas = [subir(video) for video in videos]
lista = await asyncio.gather(*tareas)
print("")
print("Resultados:")
for tupla in lista:
print(f"Sitio {tupla[0]}, {tupla[1]} bytes enviados")
La línea
tareas = [subir(video) for video in videos]
crea una lista de tareas (objetos del tipo asyncio.Task). Importante: subir(video)
no ejecuta la función subir
, simplemente crea una tarea que luego puede ser ejecutada. Eso es porque subir
es una corutina (tiene un async
en su definición).
Con esa lista, puedo lanzar su ejecución y esperar a que todas se completen en una sola llamada:
lista = await asyncio.gather(*tareas)
La corutina gather
recibe múltiples corutinas, las ejecuta todas, y devuelve sus resultados en una lista. Por tanto, en la siguiente línea puedo imprimirlos:
print("")
print("Resultados:")
for tupla in lista:
print(f"Sitio {tupla[0]}, {tupla[1]} bytes enviados")
El main
Falta un último detalle, que es lanzar la ejecución del código completo:
if __name__ == "__main__":
asyncio.run(main())
Para poder ocupar await
, el código tiene que estar dentro de una corutina y debe ser ejecutado usando asyncio
; esa es la razón de estas dos líneas para comenzar la ejecución.
Demo
import asyncio
import random
videos = [
"el pollito pio.mp4",
"turismo aventura.mp4",
"idiotas al volante.mp4"
]
async def subir(video):
fs = file_size = random.randint(1_000, 10_000)
print(f"Subiendo {video}, tamano {file_size} bytes")
while file_size:
random_wait = random.randint(1, 5)
''' Simulamos una operación de envio al sitio
por una cantidad indeterminada de bytes
'''
await asyncio.sleep(random_wait)
bytes_out = random.randint(1, file_size)
file_size -= bytes_out
print(f"Enviados {bytes_out} bytes de {video}, {file_size} restantes")
print(f"Termino de {video}")
return video, fs
async def main():
tareas = [subir(video) for video in videos]
lista = await asyncio.gather(*tareas)
print("")
print("Resultados:")
for tupla in lista:
print(f"Sitio {tupla[0]}, {tupla[1]} bytes enviados")
if __name__ == "__main__":
asyncio.run(main())
produce:
Subiendo el pollito pio.mp4, tamano 4847 bytes
Subiendo turismo aventura.mp4, tamano 8542 bytes
Subiendo idiotas al volante.mp4, tamano 9930 bytes
Enviados 8420 bytes de idiotas al volante.mp4, 1510 restantes
Enviados 4008 bytes de turismo aventura.mp4, 4534 restantes
Enviados 984 bytes de el pollito pio.mp4, 3863 restantes
Enviados 1289 bytes de idiotas al volante.mp4, 221 restantes
Enviados 3980 bytes de turismo aventura.mp4, 554 restantes
Enviados 1281 bytes de el pollito pio.mp4, 2582 restantes
Enviados 58 bytes de idiotas al volante.mp4, 163 restantes
Enviados 367 bytes de turismo aventura.mp4, 187 restantes
Enviados 1063 bytes de el pollito pio.mp4, 1519 restantes
Enviados 188 bytes de el pollito pio.mp4, 1331 restantes
Enviados 135 bytes de idiotas al volante.mp4, 28 restantes
Enviados 185 bytes de turismo aventura.mp4, 2 restantes
Enviados 984 bytes de el pollito pio.mp4, 347 restantes
Enviados 10 bytes de el pollito pio.mp4, 337 restantes
Enviados 15 bytes de idiotas al volante.mp4, 13 restantes
Enviados 2 bytes de turismo aventura.mp4, 0 restantes
Termino de turismo aventura.mp4
Enviados 177 bytes de el pollito pio.mp4, 160 restantes
Enviados 4 bytes de idiotas al volante.mp4, 9 restantes
Enviados 81 bytes de el pollito pio.mp4, 79 restantes
Enviados 1 bytes de idiotas al volante.mp4, 8 restantes
Enviados 1 bytes de idiotas al volante.mp4, 7 restantes
Enviados 79 bytes de el pollito pio.mp4, 0 restantes
Termino de el pollito pio.mp4
Enviados 5 bytes de idiotas al volante.mp4, 2 restantes
Enviados 2 bytes de idiotas al volante.mp4, 0 restantes
Termino de idiotas al volante.mp4
Resultados:
Sitio el pollito pio.mp4, 4847 bytes enviados
Sitio turismo aventura.mp4, 8542 bytes enviados
Sitio idiotas al volante.mp4, 9930 bytes enviados
Process finished with exit code 0
descarga