0

Busqué bastante sobre procesar en paralelo y como estoy arrancando no pude encontrar una forma que funcione o no la comprendí bien, lo que necesito hacer es lo siguiente:
Tengo un DF con códigos de productos (miles) y necesito buscar en la web en distintas páginas el nombre correcto del producto se me ocurrió para evitar errores y estar seguro de que algo esta bien catalogado generar un dataframe en donde tenga el código y luego cada una de las columnas sea una búsqueda automática de selenium en distintas páginas.

Estoy intentando encararlo de la siguiente forma:
Haría una función para cada web en donde quiera buscar (son 2 o 3 páginas) y automatizo este proceso con selenium, paso como parámetro el valor de la celda del df que quiero buscar y en cada columna del df aplico la función que corresponde al dato de esa columna.

Espero haber sido claro, de ser necesario, agrego el código, pero es bastante genérico lo que necesito.

Muchas gracias y estoy atento a sus respuestas y a editar la pregunta de ser necesario.

El resultado final al que me gustaría llegar sería:

  CODIGO                 web1                 web2
0   xxxx  resultadonombreweb1  resultadonombreweb2
1   xxxy  resultadonombreweb1  resultadonombreweb2
2   xxxz  resultadonombreweb1  resultadonombreweb2
3    xyz  resultadonombreweb1  resultadonombreweb2

Al ser miles de códigos me gustaría encontrar la forma de aplicar en paralelo las funciones sin tener que esperar que termine la columna 1 y luego la 2 y así sucesivamente.

1
  • Podrias buscar funciones async para python , quizás eso te pueda ayudar un poco si es que aun buscas formas de hacerlo de forma paralelo realpython.com/async-io-python ( si es que te sabes las funciones y las rutas deberia ser mas facil ) el 25 feb. 2020 a las 20:53

1 respuesta 1

0

Como no necesitaba depender de pandas , sino que podia utilizar listas termine utilizando

with concurrent.futures.ThreadPoolExecutor() as executor:
    func1 = executor.submit(func1,modelos)
    func2 = executor.submit(func2,modelos)
    func3 = executor.submit(func3,modelos)
    url1 = func1.result()
    url2 = func2.result()
    url3 = func3.result()

y luego con zip y las listas genero el DF Asique si a alguien le puede ayudar bienvenido sea!

2
  • 1
    Una pequeña observación, en Python (cpyton) con hilos consigues concurrencia pero no paralelismo real por culpa del GIL. Si quieres paralelismo y aprovechar múltiples cores de CPU debes usar procesos (ProcessPoolExecutor) y no hilos. Un saludo.
    – FJSevilla
    el 25 feb. 2020 a las 20:58
  • y en este caso como seria la aplicacion ?? tengo 3 funciones las cuales reciben cada una como parametro una lista (de codigos a buscar) y me devuelven otra lista con los resultados de la busqueda Intente aplicar con Pool y las 3 veces q lo intente colgue la maquina o no hacia nada el 25 feb. 2020 a las 21:33

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.