2

Tengo el siguiente código, el cual aparentemente funciona bien, pero cuando hago que el tamaño de la lista supere los 100.000, los métodos sumatoria y sum empiezan a dar resultados diferentes. ¿Alguien puede explicarme por qué sucede?

Para resumir el código, su función simplemente es tomar una lista de x tamaño, dividirla en 2 y hacer la suma de sus elementos primero con el uso de threads y luego por procesos aparte.

Sé que el código podría optimizarse en muchas partes pero lo hice de rapidez pues es un favor que me pidieron y no tengo mucho tiempo. Pido disculpas si dificulta el entendimiento

import datetime
import threading
import numpy as np
suma=0
def sumatoria(lista, inicio, fin):
    global suma
    for i in range(inicio, fin):

        suma += lista[i]

def sum(lista, inicio, fin):
     suma2=0
     for i in range(inicio, fin):
        suma2 += lista[i]
     return suma2

lista=np.random.randint(10,size=1000000,dtype=int)

print(lista)

tiempo_inicial = datetime.datetime.now()
t1 = threading.Thread(name="hilo1", target=sumatoria, args=[lista, 0, int((len(lista)/2))])
t2 = threading.Thread(name="hilo2", target=sumatoria, args=[lista, int(len(lista)/2), len(lista)])

t1.start()
t2.start()
print("suma: ",suma)
tiempo_final = datetime.datetime.now()
print('El tiempo total por thread es {} segunodos'.format(tiempo_final.second-tiempo_inicial.second))

###############################################################################
tiempo_inicial2 = datetime.datetime.now()
suma2=sum(lista,0,int(len(lista)/2))+sum(lista,int(len(lista)/2),len(lista))
print("suma2: ",suma2)
tiempo_final2 = datetime.datetime.now()
print('El tiempo total por separado es {} segunodos'.format(tiempo_final2.second-tiempo_inicial2.second))
1
  • Procura redactar un título mas focalizado, pues decir que hace algo raro no da mucho indicio, lee Cómo preguntar
    – user128299
    Commented el 20 abr. 2020 a las 0:34

1 respuesta 1

1

Tienes dos errores muy propios de la programación concurrente:

  • Asumes que el incremento de la variable suma (suma += lista[i]) es una operación atómica cuando no lo es.

    Pero primero, atómico significa que la operación es indivisible e irreductible, debe realizarse en su totalidad una vez iniciada o no se realiza, pero no puede quedar a medias. Esto implica que en medio de la operación el SO no puede decidir que le vendría bien que el procesador deje esa operación en ese hilo aparcada y haga otra cosita que le parece más urgente.

    En este caso la operación no es atómica, por lo que puede quedar interrumpida a medias provocando condiciones de carrera entre los hilos. Un hilo podría intentar leer o asignar un nuevo valor antes de que el nuevo valor se asigne por el otro hilo, resultado: vete a saber, porque además con los hilos, al contrario que con las corrutinas, no tienes nunca el control de cuando se salta de un hilo a otro.

    Lo mejor, no usar variables globales compartidas entre los hilos, sino usar mecanismos seguros de comunicación como son las colas. Si aún así quieres usar una variable global, usa un mecanismo de sincronización entre los hilos para evitar condiciones de carrera en operaciones no atómicas, un simple candado basta en este caso.

  • El segundo error es que simplemente no esperas a que los hilos terminen par imprimir el resultado, por lo que imprimes cuando la suma no se ha completado. Para que el hilo principal espere a que los hijos terminen usa join.


import threading
import numpy as np

suma = 0
lock = threading.Lock()

def sumatoria(lista, inicio, fin):
    global suma
    for i in range(inicio, fin):
        lock.acquire()
        suma += lista[i]
        lock.release()

def sumatoria2(lista, inicio, fin):
     suma = 0
     for i in range(inicio, fin):
        suma += lista[i]
     return suma


lista = np.arange(100000, dtype=int)

t1 = threading.Thread(
    name="hilo1", target=sumatoria,
    args=[lista, 0, int((len(lista)/2))]
    )

t2 = threading.Thread(
    name="hilo2", target=sumatoria,
    args=[lista, int(len(lista)/2), len(lista)]
    )

t1.start()
t2.start()
t1.join()
t2.join()

print("Suma con hilos: ", suma)
print("Suma sin hilos: ", lista.sum())

Seguramente te preguntarás ¿por qué no ocurría esto con números menores? Pues por suerte, la operación es tan insignificante que no se salta de un hilo a otro por lo que no hay condiciones de carrera.

Ya te digo que no vas a ganar tiempo de ejecución así, al contrario. Python tiene una limitación en cuanto a los hilos por culpa del GIL, en esencia los hilos permiten concurrencia pero no paralelismo, dado que solo un hilo puede ejecutarse al mismo tiempo en un intérprete. Lo cual reduce su utilidad a cuando el problema es un problema de tipo I/O, pero no aportan nada cuando el problema es de computación. El GIL puede ser liberado en extensiones vía C-Python API, con Cython, etc (NumPy por ejemplo lo hace), pero si no, debes usar multiprocesos si quieres paralelismo real.

No tiene nada que ver con el error, pero no uses sum como nombre para una variable o función. sum es una función builtin de Python y al hacer lo anterior la solapas, lo cual pude causar errores si se usa en otras partes del código o, como mínimo, es confuso para quién lee el código.

Así mismo, usar time o datetime para medir tiempos de ejecución no es nada preciso, solo te puede valer como referencia. Para éstas cosas tienes el módulo timeit.

3
  • El proposito del ejercicio se supone que es demostrar que un proceso se demora menos al usar threads, pero al usar el threading.Lock() el proceso tarda mas que en la forma manual, es esto normal? Commented el 21 abr. 2020 a las 13:38
  • 1
    Como comento la demostración ya te digo que no va a ser satisfactoria. Es menos eficiente que hacerlo sin hilos por lo ya comentado en la pregunta sobre el GIL (y comparado con numpy.sum ni hablamos), no solo no se realiza en paralelo si no que se crea más sobrecarga porque generar un nuevo hilos no sale gratis especialmente en Windows. El lock no debe entorpecer mucho realmente, un hilo solo espera a que el otro termine de asignar el nuevo valor, el join es otra cosa pero el tiempo que medias antes no era real porque los hilos no habían terminado de ejecutarse cuando calculabas el tiempo.
    – FJSevilla
    Commented el 21 abr. 2020 a las 15:43
  • 1
    Si se quiere de verdad aprovechar los multicores/multiprocesadores se debe recurrir a multiprocesos o hilos pero liberando el GIL en una extensión con C, Cython o demás alternativas. Los hilos en Python son útiles para problemas I/O (un servidor que envía peticiones y espera respuestas por ejemplo ) pero no para cuando el problema es de cálculo ya que no hay paralelismo real , solo concurrencia.
    – FJSevilla
    Commented el 21 abr. 2020 a las 15:51

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.