Creo que estas malinterpretando el orden en el que pasan las cosas en tu código:
En cada iteración del ciclo for
externo se programa la ejecución de tres corrutinas download
. Se programan, que no es lo mismo que ejecutarlas.
Cuando se llega a wait = min - (time.time() - last)
, wait
sera 0.5 prácticamente siempre, el tiempo que ha pasado es ínfimo ya que tus corrutinas download
no se han ejecutado aun.
El await asyncio.sleep(wait)
implica que la ejecución de work
se pause en este punto hasta que pase el tiempo estipulado. Ese tiempo lo aprovecha el event loop para pasar a ejecutar las corrutinas programadas pendientes, que tardaran lo suyo porque lo hacen de forma sincrona por algo que veremos después referente a requests
, de ahí que el print(f"Loop took {now - last}")
te muestra esos > 2s.
Cuando las tres corrutinas download
han terminado, y si ha pasado el tiempo del sleep
, la corrutina word
vuelve a ejecutarse siguiendo por donde se pauso ( la sentencia await asyncio.sleep(wait)
), empezando otra iteración del ciclo for
externo.
Si quitas el await
, lo que ocurre es que se programan las 15 corrutinas seguidas y después, cuando work
ya ha terminado, se ejecutaran las corrutinas download
. Los tiempos que te imprime tu código en este caso son solo lo que se tarda en programar las tareas, pero no incluyen lo que tardan en ejecutarse esas tareas (la ejecución de cada requests.get
), dado que al no haber un await
en tu corrutina work
el resto de tareas se ejecutaran después de que work
termine.
Sin el await
parece que todo se ejecuta mas rápido, pero no es cierto, simplemente es que sin el await
la ejecución de las quince llamadas a download
se realizan cuando termina work
y por tanto no queda registrado en tu medida de tiempo. Si mides el tiempo de ejecución de tu script completo, este debe ser similar con y sin el await
.
Si lo que quieres es:
- Iniciar las descargas (supongo que de forma asíncrona).
- Esperar a que terminen y medir el tiempo que ha tardado.
- Si no se ha superado un tiempo mínimo esperar lo que falta e iniciar las descargas de nuevo pasado el tiempo.
- Si por contra lo han superado (las descargas han tardado mas que el tiempo mínimo) iniciar inmediatamente la descarga de nuevo.
entonces deberías esperar a que tus corrutinas se ejecuten mediante await
tras programarlas en el ciclo interno.
Por otro lado, ten en cuenta que requests
no es compatible con asyncio
. Para que una biblioteca pueda aprovecharse de asyncio
, su código debe ser asíncrono, las funciones/métodos de requests
(como get()
) no lo son, son sincronas/bloqueantes.
Simplificando, en el caso de requests.get
, cuando envía la petición al servidor se queda esperando a recibir una respuesta sin mas. Una versión asíncrona enviaría la petición al servidor, pausaría su ejecución inmediatamente devolviendo el control a event loop y continuaría con su ejecución una vez el servidor le hubiera respondido, de forma que el tiempo de espera se puede usar para ejecutar otras corrutinas.
Siempre puedes usar asyncio.loop.run_in_executor para ejecutar código sincrono en múltiples hilos/procesos, lo cual no difiere mucho de usar hilos/procesos directamente, excepto porque asyncio
simplifica su uso en cierta medida, especialmente en lo referente a sincronización, memoria compartida, etc.
import asyncio
import concurrent.futures
import time
import requests
def download():
return requests.get("https://docs.python.org/3/")
async def work():
for i in range(5):
last = time.time()
loop = asyncio.get_event_loop()
with concurrent.futures.ThreadPoolExecutor() as pool:
futures = [loop.run_in_executor(pool, download) for _ in range(3)]
responses = await asyncio.gather(*futures)
min_t = 0.5
now = time.time()
print(f"Loop took {now - last}")
wait = min_t - (now - last)
last = now
if wait > 0:
print(f"Waiting {wait}")
await asyncio.sleep(wait)
asyncio.run(work())
Pero existen bibliotecas diseñadas para ser usadas con asyncio
que deberían ser tu opción primaria, a no ser que necesites alguna funcionalidad especifica de requests
no disponible en estas bibliotecas. Una de ellas es como aiohttp
:
import asyncio
import time
import aiohttp
async def download(session):
async with session.get("https://docs.python.org/3/") as response:
return response
async def work():
for i in range(5):
last = time.time()
async with aiohttp.ClientSession() as session:
futures = [asyncio.ensure_future(download(session)) for _ in range(3)]
responses = await asyncio.gather(*futures)
min_t = 0.5
now = time.time()
print(f"Loop took {now - last}")
wait = min_t - (now - last)
last = now
if wait > 0:
print(f"Waiting {wait}")
await asyncio.sleep(wait)
asyncio.run(work())
Otra opción es httpx
, que nació precisamente como alternativa a requests
compatible con asyncio
:
import asyncio
import time
import httpx
async def download(client):
return await client.get("https://docs.python.org/3/")
async def work():
for i in range(5):
last = time.time()
async with httpx.AsyncClient() as client:
futures = [asyncio.ensure_future(download(client)) for _ in range(3)]
responses = await asyncio.gather(*futures)
min_t = 0.5
now = time.time()
print(f"Loop took {now - last}")
wait = min_t - (now - last)
last = now
if wait > 0:
print(f"Waiting {wait}")
await asyncio.sleep(wait)