2

Estoy intentando hacer un threading de una funcion la cual hace una peticion get a una pagina ej: google.com. La cosa es que por cada threading que termina y se inicia se esta acumulando ram que no se elimina, hasta ocupar toda la ram disponible en mi pc y crashearla.

he probado:

  1. cerrar la sesion de requests ( r1.close() )
  2. usar otra pagina en ves de google.com
  3. usar otra librería de threading
  4. hacer un "post" en ves de un get

bueno. Esta es la funcion a la cual le estoy haciendo threading:

def Yahoo2(accounts):
    global hits, bads, free, checked, error, cpm, num2
    sess = requests.session()
    global proxylist, retry
    threads, proxy_type, retrys, timeout, Limit, ProxyGrabber, ProxyLink=load_params()
    email = accounts.split(":")[0]
    password = accounts.split(":")[1]
    while True:
        if "yahoo" in email or "ymail" in email:
            try:
                threads, proxy_type, retrys, timeout, Limit, ProxyGrabber, ProxyLink=load_params()
                if proxy_type == "http":
                    scheme = "http"
                elif proxy_type == "socks4":
                    scheme = "socks4"
                elif proxy_type == "socks5":
                    scheme = "socks5"
                if not "null" in proxy_type:
                    proxy = random.choice(proxylist)
                    count = proxy.count(":")
                    proxy_form = {'http': f"{scheme}://{proxy}", 'https': f"{scheme}://{proxy}"}
                else:
                    pass
                url = "https://google.com"
                if not "null" in proxy_type:
                    r1 = sess.get(url, proxies=proxy_form)
                else:
                    r1 = sess.get(url, timeout=int(timeout), stream=True)
                print(r1.text)
                break
            except Exception as e:
                logging.exception("message")
                continue
        else:
            break

y este es mi codigo donde le hago threading a esa funcion

ctypes.windll.kernel32.SetConsoleTitleW('SPECTRE - Multi-Checker | Prees "S" for save reaming')
mainpool = ThreadPool(processes=int(threads))
mainpool.imap_unordered(func=Yahoo2, iterable=accounts)
2
  • ¿Por qué tienes un while True dentro de Yahoo2 si parece que solo iteras una vez? (puesto que hay un break)
    – abulafia
    Commented el 7 feb. 2022 a las 16:56
  • @abulafia si ocurre un error, Python pasa al except donde no hay ningún break. Es decir, si hay un error, repite el código. Esto haría que si hay un error que nunca desaparecerá en el código el dicho se quede "trabado".
    – Dante S.
    Commented el 7 feb. 2022 a las 18:05

1 respuesta 1

1

No estás consumiendo el iterable que te retorna mainpool.imap_unordered() y probablemente eso causa que no se libere la memoria.

Debes incluir en el programa principal algún tipo de bucle para consumir ese iterable. Por ejemplo, el más sencillo podría ser:

c = 0
for r in mainpool.imap_unordered(func=Yahoo2, iterable=accounts):
  print(".", end="", file=sys.stderr)
  c+=1
  if c%80 == 0: print()

Lo que hace esto es que cada vez que uno de los hilos worker haya terminado su trabajo, el iterador te devolverá un valor (que estamos metiendo en r) que contendrá lo que haya retornado Yahoo2(). Tu función no retorna nada por lo que r será None, lo que no es muy útil. Podrías modificar Yahoo2() para que retorne algo de mayor utilidad (por ejemplo un booleano que indique si la acción se completó con éxito o no).

De todas formas el bucle aprovecha que un trabajo ha terminado para imprimir un punto por pantalla. Cada 80 puntos emite también un retorno de carro. Al menos te servirá para ver cómo el trabajo va progresando pues irás viendo puntos aparecer según los trabajadores terminan.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.