1

Hola estoy haciendo un código pero tarda mucho en ejecutar, funciona bien pero tarda mucho. Explicando el código: array_articulos tiene 11 columnas. si array_articulos[10] es igual a 0. guardo la url del articulo y comienza el scraper. consigo el color del articulo y lo comparo con mi array de colores para ver si existe. (array_colores tiene 3, una columna con el nombre del color y la segunda tiene el nombre equivalente, por ej. "NEGRO" y "NEGRA".

Sí existe, lo guardo en el array_articulo en su columna correspondiente. Tarda más de 20min ejecutando. Se agradece cualquier ayuda. Saludos

for articulo in array_articulos:
try:
    if(articulo[10] == 0):

        url = articulo[8]
        soup = BeautifulSoup(requests.get(url).text, "html.parser")
        color = [i.get_text(strip=True) for i in soup.find_all("td")]

        for b in range(len(color)):

            if(color[b].find("Color") != -1):
                color_auxiliar = elimina_tildes(color[b+1]).upper()

                for NombreColor in array_colores:

                    if(color_auxiliar.find(NombreColor[1]) != -1 or color_auxiliar.find(NombreColor[1]) != -1):
                        articulo[10] = color_auxiliar
except:
    print("NOT FOUND: ",url)




def elimina_tildes(cadena):
s = ''.join((c for c in unicodedata.normalize('NFD',cadena) if unicodedata.category(c) != 'Mn'))
return s
8
  • para poder ayudarte necesitamos replicar tu codigo y ver donde esta fallando. pero si solo pones un extracto tan superficial no podremos saber que hace del todo como por ejemplo elimina_tildes debes colocar un ejemplo mas completo!
    – Bryro
    Commented el 29 mar. 2019 a las 15:58
  • @Bryro gracias, ahi lo edite Commented el 29 mar. 2019 a las 16:14
  • sige aun muy superficial mejor coloca la url y dinos que deseas extraer de la misma!
    – Bryro
    Commented el 29 mar. 2019 a las 16:22
  • @Bryro Es un scraper, son 10mil urls. saco la etiqueta donde tiene el color, que esta dentro del elemento html <td> Commented el 29 mar. 2019 a las 17:01
  • y todas las 10mils url tiene la misma estructura :O que es una plantilla wordpress?
    – Bryro
    Commented el 29 mar. 2019 a las 17:04

1 respuesta 1

2

puedes hacer algo asi:

import threading

def articulos(articulo):
    try:
        if(articulo[10] == 0):

            url = articulo[8]
            soup = BeautifulSoup(requests.get(url).text, "html.parser")
            color = [i.get_text(strip=True) for i in soup.find_all("td")]

            for b in range(len(color)):

                if(color[b].find("Color") != -1):
                    color_auxiliar = elimina_tildes(color[b+1]).upper()

                    for NombreColor in array_colores:

                        if(color_auxiliar.find(NombreColor[1]) != -1 or color_auxiliar.find(NombreColor[1]) != -1):
                            articulo[10] = color_auxiliar
    except:
        print("NOT FOUND: ",url)

# con hilos no debemos esperar la ejecucion de articulos
# cada uno se ejecutara en un hilo separado

for articulo in array_articulos:
    # configuamos el hilo
    thread = threading.Thread(target=articulos, args=(articulo,))
    # le damos start
    thread.start()
3
  • la funcion articulos deberia devolver el array? Commented el 29 mar. 2019 a las 17:51
  • return array! :v
    – Bryro
    Commented el 29 mar. 2019 a las 17:51
  • La pregunta fue respondida con éxito. muchas gracias, se optimizó el código Commented el 29 mar. 2019 a las 18:07

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.