0

No soy experto en python pero hace poco tiempo lo empecé a probar y realicé unos scripts para mi. Pero ahora me surgio una gran duda.

Describo el script que es lo que hace:

  • Yo coloco una URL, esa url internamente tiene siempre muchas url adentro, puede varias, pueden ser 100 o 3400..
  • esas URLs yo hago peticiones para obtener un resultado, pero claro, el sistema va de 1 en 1, yo lo que quiero hacer es hacer ese proceso pero mas rapido, digamos que vaya de 100 en 100 analizando las URLs y no de a 1 en 1..

Lei que en python ese proceso se lo llama Threading o Hilos. Pero sinceramente no se como hacerlo. Me pueden ayudar?

12
  • Bienvemido a SOes, python tiene un problema con hilos y es que no los maneja como otros lenguajes, para recrear la función de hilos deberías utilizar subprocesos
    – Christian
    el 28 mar. 2021 a las 12:12
  • 2
    @Christian no estoy muy de acuerdo con tu respuesta. Requiere de una explicacion mejor para no caer en topicos. Nicolas, describe mejor cuando dices que la url tiene internamente muchas url. Tengo una respuesta para ti pero necesito mas detalle
    – gilito
    el 28 mar. 2021 a las 12:36
  • bien, es una lista m3u, que adentro contiene muchas enlaces de la misma url, digamos. Url principal nico:80/get.php?username=nico&password=nico2&type=m3u. y adentro contine muchos enlaces de la misma cuenta. asi, nico:80/nico/nico/canal1.. nico:80/nico/nico/canal2..http://nico:80/nico/nico/canal3. asi sucesivamente hasta puede tener como 3000 enlaces o 100.. el punto es que quiero hacer esas peticiones de 100 en 100.. mi scrip funciona bien de 1 en uno pero necesito hacerlo mas rapido con hilos, que no se como hacerlo. lei mucha info pero no se por donde empezar
    – nicolas
    el 28 mar. 2021 a las 12:43
  • Y luego, de la URL final, exactamente que haces? Descargar el fichero? Mi respuesta iba encarada en asyncio y aiohttp
    – gilito
    el 28 mar. 2021 a las 12:59
  • no, se obtiene otra url, osea un redireccionamiento.
    – nicolas
    el 28 mar. 2021 a las 13:07

1 respuesta 1

1

Te adjunto una respuesta aproximada a tu solución. El motivo de porque no puedo aproximarme mas es por el poco detalle de la pregunta. Necesitaria 5 ejemplos, por decir algo, de como son los datos que tratas, url y que haces de las respuestas cuyas necesitan mas trabajo.

Este script es un skeleton ideal para jugar con conceptos de asyncronia y threading y escoger la mejor forma para tu necesidad.

Tu procedimiento no requiere de mucho trabajo de CPU pero si de mucha espera IO. Por eso motivo, la arquitectura mas optima es la de asyncio.

Aún asi, ASYNCIO no dispone de un control de cola de trabajo, como si la tiene el paquete de Threading con (max_workers=5), hay que ir con cuidado que puedes generar miles de requests a un servior en concreto en poco segundos. Debe tenerse un control del trabajo que le mandas a la CPU, por eso he adjuntado tambien la version en theading que facilmente controlas los processos concurrentes. No confundir concurrentes con paralelos, en threading no hay paralelismo debido al GIL.

import asyncio, asyncssh, aiohttp
import time,datetime
from concurrent.futures.thread import ThreadPoolExecutor
from concurrent.futures import as_completed
import requests
import re


def obtencion_lista_url_inicial():
    ### Descargar primer fichero donde hay lista de URL
    # nico:80/get.php?username=nico&password=nico2&type=m3u.
    data = requests.get('http://nico:80/get.php?username=nico&password=nico2&type=m3u.')
    if data.status_code != 200:
        print('No he podido descargar el fichero origen de las urls')
        return False
    # Las direcciones deben tener protocolo adelante, en caso de que las URL ya vengan con http a delante, substituyr por el siguiente:
    # return data.text.splitlines()
    return [f'http://{i}' for i in data.text.splitlines()]



async def fetch_aio(url):
    # print(f'Connecting {url} - {datetime.datetime.now().time()}')
    try:
        async with aiohttp.request('GET', url, raise_for_status=False,
                                   timeout=aiohttp.ClientTimeout(total=4,
                                                                 connect=2,
                                                                 sock_connect=2,
                                                                 sock_read=3)) as resp:

            await resp.text()
            return url, True
    except Exception as e:
        return f'false {url} '



def fetch(url):
    #print(f'trying {url}')
    try:
        r = requests.get(url, timeout=3)
        return r, True
    except Exception as e:
        return url, False

def trabajo_asyncio():
    print(datetime.datetime.now().time())
    loop = asyncio.get_event_loop()
    urls_list = obtencion_lista_url_inicial()
    if not urls_list:
        return False
    # Creamos todo el trabajo a realizar
    request_work = [asyncio.ensure_future(fetch_aio(i)) for i in urls_list]
    # A trabajar!
    responses = loop.run_until_complete(asyncio.gather(*request_work))
    loop.run_until_complete(loop.shutdown_asyncgens())
    loop.close()
    print(datetime.datetime.now().time())
    print(responses)

def trabajo_con_threads():
    print(datetime.datetime.now().time())
    urls_list = obtencion_lista_url_inicial()
    if not urls_list:
        return False
    with ThreadPoolExecutor(max_workers=5) as executor:
        future = {executor.submit(fetch, url): url for url in urls_list}
        for future in as_completed(future):
            data = future.result()
            print(data)

El punto de entrada será:

  • trabajo_con_threads() para arquitectura con Threading
  • trabajo_asyncio() para arquitectura con Asyncio

Debes tunear a tu gusto:

  • utilizar `print(datetime.datatime.now().time()) si quieres hacer un poco de debug para ver como se van ejecutando los procesos en el tiempo
  • tunear obtencion_lista_url_inical() si no se ajusta a tu necesidad
  • tunear los timeouts, he puesto unos muy genericos,
  • tunear las excepiones
  • tunear las respuestas, exactamente no tengo claro que data necesitas de las peticiones. Basicamente tienes que adaptar los returns de las funciones

Cualquiera duda comentamos!

9
  • avisame cuando estes asi te comparto el codigo completo rapido, asi se entiende mejor. ademas en el codigo al lado de la url te coloco un ejemplo. y los resultados en verde que arroja se guardan en un text. lo que arroje en rojo no se guarda.
    – nicolas
    el 29 mar. 2021 a las 10:51
  • olvide etiquetarte @gilito
    – nicolas
    el 29 mar. 2021 a las 12:04
  • @nicolas siento no poderte aydar mas. Necesito mas detalle de tu opertiva. Este es un esqueleto basico muy interesante para enteder los conceptos de AsyncIO y Threading, si me subes com mas detalle tus origenes de datos, podre concretare mejor... se que hay redirecciones y mas detalles,que necesito ver ejemplificados...
    – gilito
    el 30 mar. 2021 a las 6:08
  • ahi coloque el codigo completo y ademas te puse un ejemplo al lado, espero me puedas ayudar @gilito
    – nicolas
    el 30 mar. 2021 a las 10:54
  • Osea, edite el codigo al principio del post, espero se entienda con toda la info que fui brindando en los comentarios..@gilito
    – nicolas
    el 30 mar. 2021 a las 12:42

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.