Estoy desarrollando una script en python con un interfaz, la aplicacion se encarga de parsear los resultados de busqueda de una pagina (con beautifulsoup) y mostrarlos con Guizero(un fork para simplificar el uso de Tkinter), al ser tantas etiquetas a comprobar, el programa puedes tardar bastante, buscando informacion encontre que con la ayuda de "multiprocessing" es posible reducir esos tiempo de busqueda al poder realizar varios a la vez. Pero al intentar implementarlo me encuentro con bastantes problemas, este es mi codigo hasta ahora: PD: Existe un "if name == "main":" al principio del codigo
def fMultiProcesamientoLista(): #Ejecutado despues de pasar una palabra clave y de pulsar un boton
print("hola")
numPag = 1
numPagTotal = 0
nombre_bus =comic_input.value #Palabra clave
lista_comics.clear()
lista_buffer_cajon_comics = []
while(True):
page = requests.get("https://www.webtoons.com/search?keyword="+nombre_bus+"&searchType=WEBTOON"+"&page="+str(numPag))
#page = requests.get("https://www.webtoons.com/search?keyword="+nombre_bus+"&searchType=WEBTOON&page="+"1")
soup = BeautifulSoup(page.content, 'html.parser')
caja = soup.find('ul', {'class':'card_lst'} ) #Elementos a buscar dentro de la pagina
print(caja)
if (caja == None): #Al no encontrarlos, sabe que a llegado al "final"
break
else:
numPagTotal+=1
numPag+=1
lista_buffer_cajon_comics.append(caja)
#print(caja.prettify())
print("hola")
with Manager() as manager:
LSAlida = manager.list() #Lista compartida entre los diferentes procesos,para poder devolver la informacion
processes = []
for i in range(0,lista_buffer_cajon_comics):
p = Process(target=fActualizarListaBusqueda, args=(lista_buffer_cajon_comics[i],nombre_bus,i,diccionario_prim)) # Passing the list
p.start()
processes.append(p)
for p in processes:
p.join()
def fActualizarListaBusqueda(LEntrada,LSalida,nombre_busqueda,i,diccionario_prim):
comics = LEntrada.find_all('li') #Busca los elementos dentro del "cajon"
diccionario = diccionario_prim.copy() #Crea una copia de un diccionario que despues completera y añadira a la lista
for elementos in comics: # En cada iteracion pasa por un elemento de la pagina
#print(elementos.prettify())
diccionario = diccionario_prim.copy()
diccionario.update({'Titulo':elementos.find('p', {'class':'subj'} ).string})
lista_comics.append(elementos.find('p', {'class':'subj'}).string)
diccionario.update({'Autor':elementos.find('p', {'class':'author'} ).string})
diccionario.update({'Categoria':elementos.find_all('span')[1].string})
diccionario.update({'Likes':elementos.find('em', {'class':'grade_num'} ).string})
diccionario.update({'Imagen':elementos.find('img').get('src')})
diccionario.update({'URL_comic':elementos.find('a').get('href')})
LSalida.append(diccionario)
print(diccionario)
La idea es poder copiar la lista "LSalida" a otra lista, que utilizara un objeto "ListBox"(propio de guizero) para mostrar la informacion (hasta este punto solo me interesan los titulos,pero utilizare todos los campos)
Al ejecutarlo me devuelvelve este error,que indica "Exception in Tkinter callback", pero al probar una version sin IDE tiene en comun tambien que devuelve RecursionError: "maximum recursion depth exceeded while pickling an object", asi que no se si el error es de Tkinter o por el Multiprocessing
Exception in Tkinter callback
Traceback (most recent call last):
File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\tkinter\__init__.py", line 1883, in __call__
return self.func(*args)
File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\site-packages\guizero\PushButton.py", line 197, in _command_callback
self._command()
File "C:\Users\Azrael\Documents\IDE\prueba\Guizero\Gestor_webtoon_v2_intento_multiprocesso.py", line 44, in fMultiProcesamientoLista
p.start()
File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\multiprocessing\process.py", line 121, in start
self._popen = self._Popen(self)
File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\multiprocessing\context.py", line 224, in _Popen
return _default_context.get_context().Process._Popen(process_obj)
File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\multiprocessing\context.py", line 326, in _Popen
return Popen(process_obj)
File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\multiprocessing\popen_spawn_win32.py", line 93, in __init__
reduction.dump(process_obj, to_child)
File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\multiprocessing\reduction.py", line 60, in dump
ForkingPickler(file, protocol).dump(obj)
RecursionError: maximum recursion depth exceeded while pickling an object
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\multiprocessing\spawn.py", line 116, in spawn_main
exitcode = _main(fd, parent_sentinel)
File "C:\Users\Azrael\AppData\Local\Programs\Python\Python38\lib\multiprocessing\spawn.py", line 126, in _main
self = reduction.pickle.load(from_parent)
EOFError: Ran out of input
Estoy estudiando formacion profesional y se que esto se queda un poco grande, y aun si no pueden explicarme como solucionarlo agradeceria una pagina para poder investigar mas sobre el funcionamiento del Multiprocessing en python.