1

Estoy haciendo un scraping de una web que tiene al rededor de 60 hojas de paginación. y mi duda surge desde que el script pincha muchas veces por un timeout exception. Pero como se recorren mas de 7k de productos, notaba que no era eficiente subir el tiempo de espera en WebDriverWait(). Entonces se me ocurrió ¿Por qué no poner un while True que intente buscar el elemento y una vez que lo encuentre salir?. Y ahora mi pregunta es, ¿Hay un problema si escribo el código de la siguiente manera?:

for articulo in articulos:
        while True:
            try:
            ActionChains(browser).move_to_element(articulo).perform()
            boton = WebDriverWait(articulo, 5).until(EC.element_to_be_clickable((By.XPATH, ".//button[contains(text(), 'QUICK VIEW')]")))
            boton.click()
            WebDriverWait(browser, 5).until(EC.visibility_of_element_located((By.CLASS_NAME, "modal-open")))
            break
        except:
            print("Timeout ActionChains..")

Sin el while funciona pero el tiempo a veces me juega una mala pasada, y si le agrego en vez de 5, 20 o 30, funciona pero como comentaba anteriormente, al iterar con muchos articulos, es una pérdida notable de tiempo. Estaré leyendo sus recomendaciones/sugerencias, gracias.

1
  • mejor utilizar una variable que actúe como semáforo
    – David
    Commented el 27 may. 2019 a las 15:05

1 respuesta 1

1

Primero hay que tener en cuenta el funcionamiento de los tiempos de espera implícitos y explícitos en selenium.

  • Un tiempo de espera explícito como el que tú usas, permite indicarle al driver que espere ciertas condiciones (Expected Conditions) o el tiempo máximo excedido antes de lanzar una excepción «ElementNotVisibleException». Sólo se puede aplicar para los elementos especificados. La espera explícita ofrece mejores opciones que la de una espera implícita, ya que esperará los elementos Ajax cargados dinámicamente y es más eficiente ya que espera solo hasta que una condición se da (un elemento está presente o se puede interactuar con el por ejemplo) y en el momento que esto ocurre desbloquea la ejecución. Por defecto comprueba la condición cada 500 milisegundos.

    Esto quiere decir que si tienes un tiempo de espera de 60 segundos, no siempre va a esperar 60 segundos, si la condición (en tu caso, el botón se puede pulsar) se da a los 3 segundos, solo esperará 3 segundos.

    import time
    from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support import expected_conditions as EC
    from selenium.webdriver.support.ui import WebDriverWait
    
    browser = webdriver.Firefox()
    browser.maximize_window()
    browser.get("https://es.stackoverflow.com/questions/tagged/python")
    t0 = time.time()
    pregunta = WebDriverWait(browser, 600).until(
            EC.visibility_of_element_located((By.CLASS_NAME, "question-hyperlink"))
        )
    print("Elemento encontrado en", time.time() - t0, "segundos")
    browser.quit()
    
  • Los tiempos de espera implícitos por el contrario son genéricos, esperan un tiempo definido sin importar ninguna condición antes de lanzar una excepción NoSuchElementException o ElementNotVisibleException. Igualmente, tampoco bloquean la ejecución, pero a diferencia de los anteriores no funcionan si el elemento existe en la página pero no está visible en el DOM.

    Los waits implícitos funciona en el lado del cliente de selenium, por lo que su comportamiento dependen del driver o incluso del sistema operativo de turno. Por otro lado se definen para todas las operaciones mientras el driver esté en funcionamiento.

    import time
    from selenium import webdriver
    
    browser = webdriver.Firefox()
    browser.maximize_window()
    browser.get("https://es.stackoverflow.com/questions/tagged/python")
    t0 = time.time()
    browser.implicitly_wait(30)
    myDynamicElement = browser.find_element_by_class_name("question-hyperlink")
    print("Elemento encontrado en", time.time() - t0, "segundos")
    browser.quit()
    

Por lo tanto, no tiene mucho sentido por lo general que usando un wait explícito uses un while, de hecho es más ineficiente.

Otra cosa es que por lo que sea no puedas usar tiempos de espera o quieras repetir acciones (ActionsChains como en tu caso, si algo va mal), en este caso un while es una buena opción, aunque lo normal es limitarlo a un número razonable de reintentos. Para lo que un for es más "pitónico"

MAX_REINTENTOS = 10


for i in range(MAX_REINTENTOS):
    try:
        # Código
        break                     # Si todo va bien rompemos el ciclo
    except:                       # Si algo falla lo volvemos a intentar
        print("Algo fue mal, reintento", i + 1)
else:                             # Si todos los reintentos se han agotado
    print("Número máximo de reintentos agotado")

Usando un ciclo while True como haces tu puede terminar en una espera infinita si algo va rematadamente mal y nunca llega a encontrarse el elemento.

1
  • Muchas gracias quedo, bastante claro. Commented el 27 may. 2019 a las 18:30

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.