0

Mi problema es que no se porque las variables globales numero_mas_frecuente y numero_max_apariciones no se me actualizan. He probado de varias formas pero no consigo solucionarlo, tengo una versión del codigo con hilos en la cual si que se me actualizan. He intentado buscar informacion en Internet pero no he encontrado. El codigo consiste en un programa que crea un archivo txt, en el que por cada linea se escribe un numero aleatorio, y cada proceso tiene que contar el numero que corresponde a su numero de proceso, por ejemplo si es el proceso numero 3, cuenta el numero de 3 del archivo. Solo hay un numero por linea, al final de la ejecucion, se publica el numero que ha aparecido mas veces y el numero de veces que ha aparecido.

import multiprocessing
import random
import time

#Variables globales para almacenar el número más frecuente y su cantidad de apariciones
numero_mas_frecuente = 0
numero_max_apariciones = 0

#Función para el proceso generador
def generador_process(file_name, num_lines, rango):
    with open(file_name, 'w') as f:
        for _ in range(num_lines):
            number = str(random.randint(1, rango))
            f.write(number + '\n')

#Función para el proceso contador
def contador_process(file_name, process_num):
    global numero_mas_frecuente
    global numero_max_apariciones

    cuentas = 0

    with open(file_name, 'r') as f:
        for line in f: 
            if int(line.strip()) == process_num:
                cuentas += 1


    print(f"Proceso {process_num}: Número {process_num} apareció {cuentas} veces.") #Esto no tiene que estar con el candado, ya que es un print de variables privadas.
    if cuentas > numero_max_apariciones:
        numero_mas_frecuente = int(process_num)
        numero_max_apariciones = int(cuentas)

#Programa Principal
if __name__ == "__main__":

    num_processes = int(input("Introduce el número de procesos: "))
    num_lineas = int(input("Introduce el número de líneas del archivo: "))
    rango = num_processes

    file_name = "numeros.txt"

    tiempo_inicial = time.time()

    #Crear proceso generador
    generador = multiprocessing.Process(target=generador_process, args=(file_name, num_lineas, num_processes))
    generador.start()

    generador.join()

    print(f"El tiempo para generar el archivo son: {time.time() - tiempo_inicial} segundos")

    start_time = time.time()

    #Crear grupo de procesos contadores
    processes = []
    for i in range(num_processes):
        process = multiprocessing.Process(target=contador_process, args=(file_name, i+1))
        processes.append(process)
        process.start()

    #Esperar a que todos los procesos terminen
    for process in processes:
        process.join()

    print(f"Tiempo empleado para contar: {time.time() - start_time} segundos")
    print(f"Número más frecuente: {numero_mas_frecuente}, Contador máximo: {numero_max_apariciones}")

1 respuesta 1

2

No puedes trasladar un código que hace uso de hilos a uno que hace uso de subprocesos sin más. Para empezar, al usar multiprocessing estamos creando procesos separados, con memoria separada, las variables regulares no se comparten entre procesos, es más si usas fork un nuevo interprete es inicializado en limpio, heredando del padre lo mínimo necesario para funcionar.

Algunas observaciones:

  • Ten en cuenta que el uso de variables globales en general es mala práctica y debe evitarse, pero si además intervine concurrencia, deben evitarse aún más...

  • Ten cuidado con modificar recursos desde distintos hilos/procesos, asegúrate de que son operaciones atómicas o usa primitivas de sincronización para evitar condiciones de carrera y dolores de cabeza...

    += es un ejemplo de operación no atómica, incluso en simples enteros. Este operador implica dos operaciones, una de lectura y otra de escritura, generando por tanto más de una instrucción de bytecode y por tanto no es atómica. Un hilo puede leer el valor y otro modificarlo antes de que el primero lo incremente, con resultados inesperados e impredecibles. Cierto que el GIL en CPython actúa en muchos casos se salvaguarda, pero en general no se debe asumir que estas operaciones son thread-safe, además de que en otros lenguajes o implementaciones de Python no tendremos un GIL.

    En tu caso el peligro mayor está en:

    if cuentas > numero_max_apariciones:
        numero_mas_frecuente = int(process_num)
        numero_max_apariciones = int(cuentas)
    

    Por ejemplo, un hilo con un conteo superior podría actualizar el valor de las variables justo después de que otro con un conteo inferior entre en el condicional pero antes de que llegue a modificar los valores. El resultado sería que el conteo superior quedaría reemplazado por uno inferior. Un simple candado evitaría esto.

  • Evita siempre que puedas compartir el estado entre procesos. Es preferible comunicar los procesos mediante pipes o colas.

Si aún así quieres compartir variables, existen varias formas, la más simple es usar memoria compartida vía multiprocessing.Value, por ejemplo:

from multiprocessing import Process, Value


def contar(contador):
    for _ in range(10):
        with contador.get_lock(): # Uso del candado por defecto
            contador.value += 1


if __name__ == '__main__':
    contador = Value('I', 0)
    p = Process(target=contar, args=(contador, ))
    p.start()
    p.join()

    print(contador.value)

Nota: tener en cuenta los ctypes y sus rangos de valores. En el ejemplo se usa "I" (unsigned integer, de 0 - 4294967295).

También tienes multiprocessing.Array, y para estructuras de datos más complejas puedes recurrir a multiprocessing.managers, que además permite compartir estado entre diferentes máquinas en una red.


Supongo que tu código tiene fines didácticos o es solo un ejemplo simplificado, lo digo porque no se aprovechara en absoluto de usar diferentes procesos, al contrario.

Edición

Tu código usando multiprocessing.Value podría quedar así:

import multiprocessing
import random
import time


#Función para el proceso generador
def generador_process(file_name, num_lineas, rango):
    with open(file_name, 'w', encoding='utf-8') as f:
        f.writelines(f'{random.randint(1, rango)}\n' for _ in range(num_lineas))

#Función para el proceso contador
def contador_process(file_name, process_num, numero_max_apariciones, numero_mas_frecuente):
    cuentas = 0

    with open(file_name, 'r', encoding='utf-8') as f:
        for line in f: 
            if int(line.strip()) == process_num:
                cuentas += 1

    print(f"Proceso {process_num}: Número {process_num} apareció {cuentas} veces.") #Esto no tiene que estar con el candado, ya que es un print de variables privadas.
    with numero_max_apariciones.get_lock(), numero_mas_frecuente.get_lock():
        if cuentas > numero_max_apariciones.value:
            numero_mas_frecuente.value = int(process_num)
            numero_max_apariciones.value = int(cuentas)


#Programa Principal
if __name__ == "__main__":

    num_processes = int(input("Introduce el número de procesos: "))
    num_lineas = int(input("Introduce el número de líneas del archivo: "))
    rango = num_processes

    file_name = "numeros.txt"

    tiempo_inicial = time.time()

    #Crear proceso generador
    generador = multiprocessing.Process(
        target=generador_process,
        args=(file_name, num_lineas, num_processes)
        )
    generador.start()
    generador.join()

    print(f"El tiempo para generar el archivo son: {time.time() - tiempo_inicial} segundos")

    numero_max_apariciones = multiprocessing.Value("L", 0)
    numero_mas_frecuente = multiprocessing.Value("L", 0)

    start_time = time.time()

    #Crear grupo de procesos contadores
    processes = []
    for i in range(num_processes):
        process = multiprocessing.Process(
            target=contador_process,
            args=(
                file_name,
                i+1,
                numero_max_apariciones,
                numero_mas_frecuente
                )
            )
        processes.append(process)
        process.start()

    #Esperar a que todos los procesos terminen
    for process in processes:
        process.join()

    print(f"Tiempo empleado para contar: {time.time() - start_time} segundos")
    print(f"Número más frecuente: {numero_mas_frecuente.value}, Contador máximo: {numero_max_apariciones.value}")

Una advertencia, print() no es intrínsecamente thread-safe, dependiendo de como se maneje el buffer te puedes encontrar con resultados no esperados, como lineas de diferentes llamadas intercaladas o corrupción de la salida. Lo he dejado como lo tienes para no complicar, pero estrictamente deberías proteger las llamadas a print, esto se aplica a los hilos también.

11
  • Si, es para la universidad, muchas gracias, en la version para hilos uso un candado para evitar lo que comentas en la actualizacion de las variables globales, pero con procesos tenia el lio de si debia usarlo o no, al tener memoria serparada.
    – Invitado
    Commented el 14 abr. a las 14:54
  • En el código de tu pregunta no necesitas sincronizar el acceso a las variables globales porque los subprocesos no comparten memoria, que es a su vez la razón por la que no puedes usarlas para compartir información entre ellos. Solo tienen que sincronizar el acceso a objetos compartidos susceptibles de ser mutados desde varios subprocesos/hilos si la operación no es atómica. En el caso de los hilos tus variables globales si se comparten y debes sincronizar el acceso igual que si usas memoria compartida con Value/Array en los subprocesos.
    – FJSevilla
    Commented el 14 abr. a las 15:49
  • Estoy usando lo de multiprocessing.Value y al hacer el print obtengo esto Número más frecuente: <Synchronized wrapper for c_ulong(0)>, Contador máximo: <Synchronized wrapper for c_ulong(0)>, sabes a que se debe?
    – Invitado
    Commented el 14 abr. a las 17:29
  • Esa parece la salida de __repr__ para el objeto, supongo que estarás imprimiendo el objeto Value directamente, haciendo algo como print(contador) en vez de print(contador.value). Debes usar el atributo value para acceder al valor, por ejemplo print(f"Contador máximo: {contador.value}") suponiendo que tu variable se llame contador.
    – FJSevilla
    Commented el 14 abr. a las 17:33
  • Sigo sin poder conseguir que se actualice mi variable numero mas frecuente y la de numero max apariciones, with candado: if cuentas > numero_max_apariciones.value: numero_mas_frecuente.value = int(process_num) numero_max_apariciones.value = int(cuentas)
    – Invitado
    Commented el 14 abr. a las 17:50

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.