0

Estoy desarrollando una script en python con un interfaz, la aplicacion se encarga de parsear los resultados de busqueda de una pagina (con beautifulsoup) y mostrarlos con Guizero(un fork para simplificar el uso de Tkinter), al ser tantas etiquetas a comprobar, el programa puedes tardar bastante, buscando informacion encontre que con la ayuda de "multiprocessing" es posible reducir esos tiempo de busqueda al poder realizar varios a la vez. Pero al intentar implementarlo me encuentro con bastantes problemas, este es mi codigo hasta ahora: PD: Existe un "if name == "main":" al principio del codigo

def fMultiProcesamientoLista(): #Ejecutado despues de pasar una palabra clave y de pulsar un boton 
    print("hola")
    numPag = 1
    numPagTotal = 0
    nombre_bus =comic_input.value #Palabra clave
    lista_comics.clear()
    lista_buffer_cajon_comics = []
    while(True):
        page = requests.get("https://www.webtoons.com/search?keyword="+nombre_bus+"&searchType=WEBTOON"+"&page="+str(numPag))
        #page = requests.get("https://www.webtoons.com/search?keyword="+nombre_bus+"&searchType=WEBTOON&page="+"1")
        soup = BeautifulSoup(page.content, 'html.parser')
        caja = soup.find('ul', {'class':'card_lst'} ) #Elementos a buscar dentro de la pagina
        print(caja)
        if (caja == None): #Al no encontrarlos, sabe que a llegado al "final"
            break
        else:
            numPagTotal+=1
            numPag+=1
            lista_buffer_cajon_comics.append(caja)
        #print(caja.prettify())
    print("hola")
    with Manager() as manager: 
        LSAlida = manager.list()  #Lista compartida entre los diferentes procesos,para poder devolver la informacion
        processes = []
        for i in range(0,lista_buffer_cajon_comics):
            p = Process(target=fActualizarListaBusqueda, args=(lista_buffer_cajon_comics[i],nombre_bus,i,diccionario_prim))  # Passing the list
            p.start()
            processes.append(p)
        for p in processes:
            p.join()
def fActualizarListaBusqueda(LEntrada,LSalida,nombre_busqueda,i,diccionario_prim):
    comics = LEntrada.find_all('li') #Busca los elementos dentro del "cajon"
    diccionario = diccionario_prim.copy() #Crea una copia de un diccionario que despues completera y añadira a la lista
    for elementos in comics: # En cada iteracion pasa por un elemento de la pagina
        #print(elementos.prettify())
        diccionario = diccionario_prim.copy()
        diccionario.update({'Titulo':elementos.find('p', {'class':'subj'} ).string})
        lista_comics.append(elementos.find('p', {'class':'subj'}).string)
        diccionario.update({'Autor':elementos.find('p', {'class':'author'} ).string})
        diccionario.update({'Categoria':elementos.find_all('span')[1].string})
        diccionario.update({'Likes':elementos.find('em', {'class':'grade_num'} ).string})
        diccionario.update({'Imagen':elementos.find('img').get('src')})
        diccionario.update({'URL_comic':elementos.find('a').get('href')})
        LSalida.append(diccionario)
        print(diccionario)

La idea es poder copiar la lista "LSalida" a otra lista, que utilizara un objeto "ListBox"(propio de guizero) para mostrar la informacion (hasta este punto solo me interesan los titulos,pero utilizare todos los campos)

Al ejecutarlo me devuelvelve este error,que indica "Exception in Tkinter callback", pero al probar una version sin IDE tiene en comun tambien que devuelve RecursionError: "maximum recursion depth exceeded while pickling an object", asi que no se si el error es de Tkinter o por el Multiprocessing

Exception in Tkinter callback
Traceback (most recent call last):
  File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\tkinter\__init__.py", line 1883, in __call__
    return self.func(*args)
  File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\site-packages\guizero\PushButton.py", line 197, in _command_callback
    self._command()
  File "C:\Users\Azrael\Documents\IDE\prueba\Guizero\Gestor_webtoon_v2_intento_multiprocesso.py", line 44, in fMultiProcesamientoLista
    p.start()
  File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\multiprocessing\process.py", line 121, in start
    self._popen = self._Popen(self)
  File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\multiprocessing\context.py", line 224, in _Popen
    return _default_context.get_context().Process._Popen(process_obj)
  File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\multiprocessing\context.py", line 326, in _Popen
    return Popen(process_obj)
  File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\multiprocessing\popen_spawn_win32.py", line 93, in __init__
    reduction.dump(process_obj, to_child)
  File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\multiprocessing\reduction.py", line 60, in dump
    ForkingPickler(file, protocol).dump(obj)
RecursionError: maximum recursion depth exceeded while pickling an object
Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\multiprocessing\spawn.py", line 116, in spawn_main
    exitcode = _main(fd, parent_sentinel)
  File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\multiprocessing\spawn.py", line 126, in _main
    self = reduction.pickle.load(from_parent)
EOFError: Ran out of input

Estoy estudiando formacion profesional y se que esto se queda un poco grande, y aun si no pueden explicarme como solucionarlo agradeceria una pagina para poder investigar mas sobre el funcionamiento del Multiprocessing en python.

1 respuesta 1

0

Tenía un problema parecido y en mi caso fue necesario modificar el formato de las listas de BeautifulSoup con:

tmp_caja = soup.find(...)
caja = []
for ej in tmp_caja:
    caja.append(str(ej))
lista_buffer_cajon_comics.append(caja)

No sé si esto funcionare en este caso, pero creo que es un problema con BeautifulSoup en particular.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.