2

Estaba intentando descargar varias páginas cada cierto tiempo con la librería requests. Al contar el tiempo de cada iteración descubrí que en lugar de ejecutarse cada medio segundo tarda 1 y medio como mínimo.

¿Por qué pasa esto y cómo puedo hacer que la función se ejecute cada el tiempo deseado aproximadamente?

Este código:

async def download():
    res = requests.get("https://google.com")

async def work():
    last = time.time()
    for i in range(5):
        now = time.time()
        print(f"Loop took {now - last}")
        last = now
        
        for j in range(3):
            asyncio.create_task(download())
        
        min = 0.5
        wait = min - (time.time() - last)
        if wait > 0:
            print(f"Waiting {wait}")
            await asyncio.sleep(wait)
        
asyncio.run(main())

Imprime lo siguiente:

Loop took 1.2e-06
Waiting 0.5
Loop took 2.2
Waiting 0.5
Loop took 2.2
Waiting 0.5
Loop took 2.4
Waiting 0.5
Loop took 2.5
Waiting 0.5

También lo intenté con hilos y sí funciona bien. Pero quisiera saber cómo puedo hacerlo con asyncio.

Cabe mencionar que si quito la línea del await, el código termina bastante más rápido.

1 respuesta 1

3

Creo que estas malinterpretando el orden en el que pasan las cosas en tu código:

  • En cada iteración del ciclo for externo se programa la ejecución de tres corrutinas download. Se programan, que no es lo mismo que ejecutarlas.

  • Cuando se llega a wait = min - (time.time() - last), wait sera 0.5 prácticamente siempre, el tiempo que ha pasado es ínfimo ya que tus corrutinas download no se han ejecutado aun.

  • El await asyncio.sleep(wait) implica que la ejecución de work se pause en este punto hasta que pase el tiempo estipulado. Ese tiempo lo aprovecha el event loop para pasar a ejecutar las corrutinas programadas pendientes, que tardaran lo suyo porque lo hacen de forma sincrona por algo que veremos después referente a requests, de ahí que el print(f"Loop took {now - last}") te muestra esos > 2s.

  • Cuando las tres corrutinas download han terminado, y si ha pasado el tiempo del sleep, la corrutina word vuelve a ejecutarse siguiendo por donde se pauso ( la sentencia await asyncio.sleep(wait)), empezando otra iteración del ciclo for externo.

Si quitas el await, lo que ocurre es que se programan las 15 corrutinas seguidas y después, cuando work ya ha terminado, se ejecutaran las corrutinas download. Los tiempos que te imprime tu código en este caso son solo lo que se tarda en programar las tareas, pero no incluyen lo que tardan en ejecutarse esas tareas (la ejecución de cada requests.get), dado que al no haber un await en tu corrutina work el resto de tareas se ejecutaran después de que work termine.

Sin el await parece que todo se ejecuta mas rápido, pero no es cierto, simplemente es que sin el await la ejecución de las quince llamadas a download se realizan cuando termina work y por tanto no queda registrado en tu medida de tiempo. Si mides el tiempo de ejecución de tu script completo, este debe ser similar con y sin el await.

Si lo que quieres es:

  • Iniciar las descargas (supongo que de forma asíncrona).
  • Esperar a que terminen y medir el tiempo que ha tardado.
  • Si no se ha superado un tiempo mínimo esperar lo que falta e iniciar las descargas de nuevo pasado el tiempo.
  • Si por contra lo han superado (las descargas han tardado mas que el tiempo mínimo) iniciar inmediatamente la descarga de nuevo.

entonces deberías esperar a que tus corrutinas se ejecuten mediante await tras programarlas en el ciclo interno.


Por otro lado, ten en cuenta que requests no es compatible con asyncio. Para que una biblioteca pueda aprovecharse de asyncio, su código debe ser asíncrono, las funciones/métodos de requests (como get()) no lo son, son sincronas/bloqueantes.

Simplificando, en el caso de requests.get, cuando envía la petición al servidor se queda esperando a recibir una respuesta sin mas. Una versión asíncrona enviaría la petición al servidor, pausaría su ejecución inmediatamente devolviendo el control a event loop y continuaría con su ejecución una vez el servidor le hubiera respondido, de forma que el tiempo de espera se puede usar para ejecutar otras corrutinas.


Siempre puedes usar asyncio.loop.run_in_executor para ejecutar código sincrono en múltiples hilos/procesos, lo cual no difiere mucho de usar hilos/procesos directamente, excepto porque asyncio simplifica su uso en cierta medida, especialmente en lo referente a sincronización, memoria compartida, etc.

import asyncio
import concurrent.futures
import time
import requests


def download():
    return requests.get("https://docs.python.org/3/")

async def work():
    for i in range(5):
        last = time.time()
        
        loop = asyncio.get_event_loop()
        with concurrent.futures.ThreadPoolExecutor() as pool:
            futures = [loop.run_in_executor(pool, download) for _ in range(3)]
            responses = await asyncio.gather(*futures)

        min_t = 0.5
        now = time.time()
        print(f"Loop took {now - last}")
        wait = min_t - (now - last)
        last = now
        
        if wait > 0:
            print(f"Waiting {wait}")
            await asyncio.sleep(wait)

asyncio.run(work())

Pero existen bibliotecas diseñadas para ser usadas con asyncio que deberían ser tu opción primaria, a no ser que necesites alguna funcionalidad especifica de requests no disponible en estas bibliotecas. Una de ellas es como aiohttp:

import asyncio
import time
import aiohttp


async def download(session):
    async with session.get("https://docs.python.org/3/") as response:
        return response 

async def work():
    for i in range(5):
        last = time.time()

        async with aiohttp.ClientSession() as session:
            futures = [asyncio.ensure_future(download(session)) for _ in range(3)]
            responses = await asyncio.gather(*futures)

        min_t = 0.5
        now = time.time()
        print(f"Loop took {now - last}")
        wait = min_t - (now - last)
        last = now
        
        if wait > 0:
            print(f"Waiting {wait}")
            await asyncio.sleep(wait)

asyncio.run(work())

Otra opción es httpx, que nació precisamente como alternativa a requests compatible con asyncio:

import asyncio
import time
import httpx


async def download(client):
    return await client.get("https://docs.python.org/3/")

async def work():    
    for i in range(5):
        last = time.time()

        async with httpx.AsyncClient() as client:
            futures = [asyncio.ensure_future(download(client)) for _ in range(3)]
            responses = await asyncio.gather(*futures)

        min_t = 0.5
        now = time.time()
        print(f"Loop took {now - last}")
        wait = min_t - (now - last)
        last = now
        
        if wait > 0:
            print(f"Waiting {wait}")
            await asyncio.sleep(wait)
6
  • ¿Entonces el problema es que asyncio usa un solo hilo para ejecutar diferentes tareas y cuando usas código que bloquea termina tardando más de lo que debería?
    – Mateo
    Commented el 5 nov. 2023 a las 21:59
  • Asyncio usa un solo hilo, el ciclo de eventos ejecuta todos las callbacks y las tasks en su hilo. Cuando una tarea esta ejecutándose, ninguna otra puede ejecutarse de forma concurrente. Cuando una tarea ejecuta un await, su ejecución se pausa y el bucle de eventos ejecuta la siguiente tarea pendiente. Es lo que se conoce como "Cooperative Multitasking" y es especialmente útil cuando el factor limitante son eventos I/O.
    – FJSevilla
    Commented el 5 nov. 2023 a las 22:18
  • Si tienes cientos de tareas que hacen peticiones a un servidor, cada tarea se inicia hace su petición y se pausa esperando a que el server responda, mientra esta pausada otras tarea pude continuar su ejecución hasta que termine o también se pause, pasando a otra, ... Si el código que hace la petición es bloqueante, las tareas no son pausadas mientras esperan a eventos (como que llegue una respuesta de un servidor) y asyncio no sirve de nada, simplemente ejecuta las tareas una detrás de la otras de forma sincrona.
    – FJSevilla
    Commented el 5 nov. 2023 a las 22:19
  • En tu caso, no es que por usar asyncio tarde mucho mas de lo que debería, simplemente tu código es sincrono tanto si usas asyncio como si no lo usas porque request es sincrona. La diferencia de tiempo que observas al usar o no usar await es debido a que el await altera cuando se ejecutan las tareas (requests.get) al pausar la corrutina work, si lo usas se ejecutan de tres en tres en cada iteracion del for (por lo que su ejecucion se incluye en tu medida del tiempo) y si no usas await se ejecutan todas al final cuando work termina (por lo que tu medida de tiempo no incluye su ejecucion).
    – FJSevilla
    Commented el 5 nov. 2023 a las 22:40
  • En realidad no me interesa esperar a que la descarga termine. La idea es descargar archivos cada x tiempo y esperar a que la descarga termine cuando el usuario quiera parar. Qué crees más conveniente, que use hilos directamente o asyncio con aiohttp? También me podrías sugerir material sobre asyncio? La documentación parece bastante escueta y no encontré respuesta ahí.
    – Mateo
    Commented el 5 nov. 2023 a las 22:52

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.