0

Estoy haciendo un programa para procesar archivos por hilos pero no logro tener paralelismo. En el programa tengo la siguiente estructura para la creación de los hilos, pero me funciona uno a la vez para todos los casos.

import threading
import time

def main():

    def imprimir(n):
        while(True):
            print ('hilo{}'.format(str(n)))
            time.sleep(0.5)
    for i in range(4):
        hilo = threading.Thread(name='hilo{}'.format(str(i)),target=imprimir(1))

if (__name__ == '__main__'):
   main()

Si omito los start() de los hilos de igual manera inician. ¿Cómo puedo solucionar esto?

1 respuesta 1

3

El problema es que estas pasando mal los argumentos de la función imprimir a cada hilo creado. Debes usar el argumento args para ello. Si lo pasas entre paréntesis en realidad llamas a la función en el hilo principal y es este y solo este el que ejecuta la función, por eso no necesita de start, porque ni siquiera llega a crearse un hilo hijo, el programa se queda eternamente ejecutando tu función con ciclo infinito en el hilo principal.

El código debería ser algo así:

import threading
import time

def main():

    def imprimir(n):
        while(True):
            print('{0} imprime {1}\n'.format(threading.current_thread().name, n), end = '')
            time.sleep(0.5)

    for i in range(4):
        hilo = threading.Thread(name='Hilo{}'.format(i), target=imprimir, args=(1,))
        hilo.start()

if (__name__ == '__main__'):
   main()

Observa que args debe ser una secuencia, por eso no le paso n simplemente sino una tupla de la forma (n, ), la coma es la clave :).

threading.current_thread().name nos permite identificar cada hilo imprimiendo su nombre.

Si vas a procesar archivos tal vez te interese usar una cola (que es threading-safe) donde colocar por ejemplo las rutas de cada archivo (u otros parametros adicionales como por ejemplo rutas de archivos de salida) y dejar que los distintos hilos vayan procesandolos, un ejemplo pero llenando la cola con enteros:

import queue
import threading
import time

#Función que consume los datos de la cola
def worker(q):
    while not q.empty():
        n = q.get()
        print( '{0} imprimiendo: {1}.\n'.format(threading.current_thread().name, n), end = '')
        time.sleep(0.5)
    print('{0} terminó su trabajo.\n'.format(threading.current_thread().name), end = '')

def main():
    #Vamos a llenar la cola con algunos datos, en este caso enteros:
    q = queue.Queue()
    for n in range(1000, 1101):
        q.put(n)

    #Creamos los hilos que procesarán la cola, en este caso 5
    thread_count = 5
    threads=[]
    for i in range(thread_count):
        t = threading.Thread(target=worker, args = (q,))
        threads.append(t)
        t.start()

    #Esperamos a que terminen todos los hilos antes de terminar el programa principal
    for thread in threads:
        thread.join()

if __name__ == '__main__':
    main()

Realmente (dependiendo también de lo que pretendas hacer con los archivos) en estos casos suele ser recomendable usar procesos en vez de hilos dadas las limitaciones que pone el GIL a la concurrencia en Cpython. Básicamente el GIL (Global Interpreter Lock) es un bloqueo a nivel de intérprete que evita la ejecución de múltiples hilos a la vez en un mismo intérprete de Python. Para que un hilo puedada ejecutarse debe esperar a que el GIL esté liberado o sea liberado por otro hilo si estaba en uso. Esto se debe a que la gestión de memoria del propio intérprete CPython (no de nuestro programa en si) no es thread-safe. Esto en la práctica limita el uso de varios hilos simultáneos en CPUs multinúcleos, para evitarlo se pueden hacer varias cosas como usar otras implementaciones del intérprete Python (Jython o IronPython no tienen este problema pero son más ineficientes en otros aspectos que CPython), implementar las tareas que necesiten concurrencia de nuestro programa en C directamente dado que es relativamente sencillo extender Python con c o c++ y permite saltarse el GIL a voluntad o usar multiprocesos y no multihilos que s permiten el uso de varios núcleos. Pueses encontrar más información en los siguientes enlaces:

GIL- Python Wiki
Multiprocesamiento en Python: Global Interpreter Lock (GIL)-Gembeta
Multiprocesamiento en Python: Esquivando el GIL-Gembeta

Un ejemplo simple usando varios procesos y colas podría ser:

import multiprocessing
import time


#Función que consume los datos de la cola
def worker(q):
    while not q.empty():
        n = q.get()
        print( '{0} imprimiendo: {1}.\n'.format(multiprocessing.current_process().name, n), end = '')
        time.sleep(0.5)
    print('{0} terminó su trabajo.\n'.format(multiprocessing.current_process().name), end = '')

def main():
    #Vamos a llenar la cola con algunos datos, en este caso enteros:
    q = multiprocessing.Queue()
    for n in range(1000, 1101):
        q.put(n)

    #Creamos los procesos
    process_count = 5
    processes=[]
    for i in range(process_count):
        p = multiprocessing.Process(target=worker, args = (q,))
        processes.append(p)
        p.start()


    #Esperamos a que todos los procesos terminen antes de terminar el programa principal
    for process in processes:
         process.join()

if __name__ == '__main__':
    main()

En el ejemplo con multiprocesos si usas el IDLE posiblemente no verás nada al imprimir por como implementa el IDLE las stdout (los procesos si que hacen su trabajo). Si este es tu caso ejecuta el script llamando al interprete en la consola (CMD de Windows).

Existen muchas otras formas de implementar lo que deseas como usar multiprocessing.Pool. Va a depender en gran medida de lo que desees hacer; leer varios archivos a la vez y procesarlos por separado con salidas separadas, leer varios archivos a la vez y procesarlos por separado pero con una única salida, procesar un archivo muy grande de cada vez usando varios hilos para procesarlo, etc. Es cuestion de probar a ver que opciones te dan mejor rendimiento para tu caso particular.

2
  • Excelente respuesta, solo como anotación, el link hacia la pagina de GIL no es econtrado, si puedes añadir un poco de texto acerca de el link estaria excelente el 17 mar. 2017 a las 19:12
  • Gracias por el aviso @GermanAlzate, primero pensé colocar solo el enlace de la propia wiki de Python (en inglés) pero posteriormente encontré un enlace en español que lo explica bastante bién sin entrar demasiado en profundidad y lo cambié. En el cambio copie mal el enlace, responder desde el móvil trae consecuencias... :). He editado la pregunta corrigiendo el enlace y añadiendo más información por si alguíen le interesa el polémico GIL... Saludos.
    – FJSevilla
    el 17 mar. 2017 a las 20:09

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.