Estoy intentando crear un programa que, a grandes rasgos, consiste en scrapear paquetes de datos de una página web (script1) y los pasa a otro script para que compruebe si en otra página web se encuentran los mismos datos (script2). 2 posibilidades, si existen, ambos script siguen el link de su respectivo paquete de datos y scrapean el contenido y luego lo comparten y si procede hacen más acciones dentro de ese link en sus respectivos browser. Cuando acaben se va el script1 al siguiente paquete de datos y repite el proceso. Si no existe, el script1 se va al siguiente paquete de datos y repite el proceso.
Ambas webs tienen javascript y por ello están siendo scrapeadas con selenium y chromedriver.
Lo que necesito es, por un lado, un modo de ejecutar ambos scripts de manera simultánea (en principio, con multiprocessing) y sobre todo, una manera rápida de comunicar un script con el otro.
Se me ha sugerido integrar el script2 como función del script1. No creo que sea viable inicializar el browser y llevarlo al punto en el que estaba en la llamada anterior cada vez, porque alargaría demasiado el proceso global. Si podría funcionar si de alguna manera, guardo el browser del script2 como una variable global en un script Config asociado al script1, y con cada llamada va accediendo a ese browser global, pero no se si convertir todas las funcionalidades de script2 en funciones sería lo más adecuado.
Es la mejor alternativa? Haciendolo así evitaría el multiprocessing. Hay otras alternativas, como multiprocessing + sockets que pueda ser mejor? El programa a priori requiere que el proceso se ejecute lo más rápido posible.
browser1 = webdriver.Chrome()
browser2 = webdriver.Chrome()
no te serviría?