0

Estoy intentando crear un programa que, a grandes rasgos, consiste en scrapear paquetes de datos de una página web (script1) y los pasa a otro script para que compruebe si en otra página web se encuentran los mismos datos (script2). 2 posibilidades, si existen, ambos script siguen el link de su respectivo paquete de datos y scrapean el contenido y luego lo comparten y si procede hacen más acciones dentro de ese link en sus respectivos browser. Cuando acaben se va el script1 al siguiente paquete de datos y repite el proceso. Si no existe, el script1 se va al siguiente paquete de datos y repite el proceso.

Ambas webs tienen javascript y por ello están siendo scrapeadas con selenium y chromedriver.

Lo que necesito es, por un lado, un modo de ejecutar ambos scripts de manera simultánea (en principio, con multiprocessing) y sobre todo, una manera rápida de comunicar un script con el otro.

Se me ha sugerido integrar el script2 como función del script1. No creo que sea viable inicializar el browser y llevarlo al punto en el que estaba en la llamada anterior cada vez, porque alargaría demasiado el proceso global. Si podría funcionar si de alguna manera, guardo el browser del script2 como una variable global en un script Config asociado al script1, y con cada llamada va accediendo a ese browser global, pero no se si convertir todas las funcionalidades de script2 en funciones sería lo más adecuado.

Es la mejor alternativa? Haciendolo así evitaría el multiprocessing. Hay otras alternativas, como multiprocessing + sockets que pueda ser mejor? El programa a priori requiere que el proceso se ejecute lo más rápido posible.

5
  • 1
    Veo que no tienes muy claro como atacar el problema, así que te advierto encarecidamente que no te metas en ese jardín de multiprocesos. No termino de entender muy bien lo que necesitas y sigo pensando que lo que te han sugerido de hacer un unico script que haga ambas cosas es lo más aconsejable. Intenta explicarlo un poco con más detalle y pon tu codigo y/o ejemplos que ayuden a entender el problema Commented el 30 ago. 2019 a las 9:43
  • Cada navegador permanece activo durante todo el programa, es decir, mira un dato, clica y saca información de la nueva página, vuelve para atrás y continua. La idea es buscar el nombre encontrado en el script1 en la web del script2, y si está, intercambian paquetes de datos y se hacen operaciones. Si utilizase como función el script2 tendria que iniciar cada vez ese navegador y sería muy lento. De ahí la idea de montarlo como 2 torres de comunicación. O ejecutarlos en terminales distintas y comunicarlos con un socket o algo similar
    – puppet
    Commented el 30 ago. 2019 a las 9:54
  • 1
    Entiendo.... y no puedes instanciar dos navegadores en tu mismo script? No he usado nunca selenium, pero he mirado por encima la documentación y algo del estilo de browser1 = webdriver.Chrome() browser2 = webdriver.Chrome() no te serviría? Commented el 30 ago. 2019 a las 10:31
  • Creo que sería posible guardar el segundo navegador en el fichero Config y llamarlo cada vez que se llama a una función del script2, pero no se si eso sería en lineas generales lo más óptimo. Pero si, podría ser una posibilidad
    – puppet
    Commented el 30 ago. 2019 a las 10:36
  • A ver si luego tengo un rato e intento algún enredo a ver cómo podría ser. Pero me sigue pareciendo un poco retorcido usar sockets y módulos extra para algo así. No suena muy pythonico (en el sentido del zen simple y sencillo de entender) Commented el 30 ago. 2019 a las 10:39

1 respuesta 1

1

No es necesario usar sockets ni multihilo porque ambos drivers ya funcionan independientemente.

Simplemente instanciando tantos drivers como necesites en el mismo script es suficiente.

Ejemplo:

from selenium import webdriver

web1 = webdriver.Chrome()
web2 = webdriver.Chrome()  # Esto abre dos navegadores y los instancia en las variables

web1.get('la web del script1')
web2.get('la web del script2')

El resto del codigo es el que ya tengas en ambos scripts usando web1 o web2 respectivamente (o el nombre que te de la gana). Para hacer las comprobaciones que dices usa uno o varios if y/o usa variables temporales para asignar los datos de un driver a otro. Sin ver tu codigo no puedo ayudarte más, pero lo que digo es posible y simplifica mucho tu problema.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.