1

estuve haciendo un codigo para un trabajo del analisis del estres en una pagina asi como detecciones de fuerza bruta. (solo con 1 proxy, sin lista de proxy variable)

Logre llegar al punto en donde puedo mandar varios threads y saco informacion de un bloc de notas, lo que hago es separar las lineas del mismo dividiendolo y mandando en distintos threads distintas partes de las lineas.

Queria saber si esta era la manera mas optima de realizar esto o se puede hacer algo mejor, segun mis busquedas y lo que pude entender no hay mucho mas.

Lo que realizo threads que llaman a funciones las cuales llame c1 y c2 y estas contienen partes del bloc de notas que defina en mis argumentos, luego con el modulo requests puedo hacer un post a mi pagina con mis datos.

Mi pregunta tambien viene desde muchos lugares donde lei que es comun que al estar mal codificado el multithread lo que hace es chocar con si mismo, no entendi muy bien.

El codigo que estoy usando para el bloc de notas es (cambio algunos datos) seria la funcion c1 que con sus argumentos me dice el inicio donde tiene que usar el bloc de notas y el fin (como lo divido en 2 partes usara una mitad esta funcion y c2 la cual es igual usara la otra mitad.)

def c1(inicio,fin):
        i = 0
        
       
        while( i < fin):
            proxy = {'http': prox}
            f = lines[inicio4 + i - 1].replace('\n','')
            url= 'mipagina'
            Form = {
                'lugar_de_entrada_de_dato': dato,
                
            }
            
            i = i + 1
            r1 = s.post(url, data= Form,proxies = proxy)
            con1 = (r1.content)

            ...
            determinada cadena de if con lo que busco
            ...
                

el codigo en el que trabaje para multithread es el siguiente (tengo mas llamas a threads pero solo muestro 2 por simplicidad):

        div = int(count / 2)      #count es el contador de la cantidad de lineas en mi bloc de notas
                                  #lo divido en 2 y paso en partes iguales a los threads 
        t0= threading.Thread(target=c1,args=[0, div])
        l0= threading.Thread(target=c2,args=[div*2 + 1,div])
        t0.start()
        l0.start()
        t0.join()
        l0.join()

Tambien me gustaria consultar si hay alguna forma mas eficiente de manejar mis lineas de bloc de notas o si hay errores en lo que estoy haciendo que no haya visto.

Gracias!

1 respuesta 1

0

Más que una respuesta, este es un comentario respecto al "choque" que mencionas. Toma esto como una introducción general; el tema es bien peludo.

Analizemos un ejemplo. En este programa tiene dos threads, uno de los cuales lee un dato de un sensor y lo guarda en la variable compartida sample. El otro imprime el valor obtenido.

import time
from some_library import read_sensor

sample = dict()

def thread1():
    while True:
        sample["time"] = time.time()
        sample["value"] = read_sensor()
        time.sleep(60)
    
def thread2():
    global sample
    while True:
        ... realizar algun proceso y luego ...
        print(sample["time"], sample["value"])

Parece perfecto a primera vista, pero hay un grave problema: En thread2 no puedes garantizar que sample["time"] y sample["value"] correspondan a la misma muestra generada por thread1.

Como ambos threads se ejecutan en forma independiente, puede pasar que la secuencia en el tiempo sea la siguiente:

  1. El print de thread2 recupera el valor de sample["time"].
  2. Thread1 ejecuta y cambia el valor de sample["time"] y sample["value"]
  3. Thread2 continua con el print y recupera el valor de sample["value"].

El error que se produjo es que usaste el time viejo junto con el value nuevo, lo que genera una inconsistencia.

De ahi puedes extrapolar a todo tipo de situaciones. Por ejemplo, qué pasa si un thread recorre una lista mientras el otro agrega/elimina/modifica elementos de la misma lista.

¿Qué pasa si ambos threads piden acceso exclusivo a dos recursos distintos, pero en orden cambiado? Supón que el primer thread quiere acceso al recurso A y B, mientras que el otro quiere acceso a B y A. El primer thread se toma A, el segundo thread toma B, y ambos se bloquean esperando que el segundo recurso quede desocupado (dead-lock).

Lo peor del caso es que estos problemas son aleatorios. En una ejecución funciona todo bien, y a la siguiente funciona todo mal. Los errores suelen ser irreproducibles, no puedes seguirlos con debug e insertar "print" por aqui y por allá cambia las condiciones de lo que estás ejecutados. Es un claro Heisenbug.

Existen mecanismos para coordinar el acceso a variables compartidas, que puedes estudiar más adelante (revisa threading.Lock()).

En tu caso, si ambos threads están modificando el mismo dato, seguro que vas a tener problemas.

2
  • Muchisimas gracias por la respuesta tan completa, sin duda estudiare los temas que me hablaste, pero me surge una duda, comprendo que si dos threads piden acceso a un recurso esto terminara en un error pero que pasa si a lo que quieren acceder es mandar un post a una pagina web(como en mi caso que uso requests), en teoria deberia poder manejar 2 de ellas o no? Lo digo porque lo que pase de codigo esta funcionando correctamente.
    – CheckMate
    Commented el 1 jul. 2020 a las 16:06
  • @CheckMate. Sin el código completo para analizar, sólo puedo conjeturar. Si ambos threads sólo comparten datos estáticos (que no cambian mientras ejecutan), no debería haber problemas.
    – Candid Moe
    Commented el 1 jul. 2020 a las 16:19

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.