1

Creé una programa en Python para hacer webscraping de datos en un website, al ejecutarlo a veces me arrojaba un problema, me explico:

WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.XPATH,'/Este_es_el_XPATH')))

Establecí la anterior espera explícita para obtener un dato en particular del website.

La mayoría de las veces que el programa realizó el proceso, funcionó muy bien.

Sin embargo, hubieron algunas ocasiones en las que se generó el siguiente error:

TimeoutException

Lo cual hacía que mi programa se detuviese y tuviese que repetir todo el largo proceso que ya había realizado.

El parámetro de espera de 10 segundos no siempre es efectivo.

Quisiera saber sí hay una forma de establecer este parámetro como una variable que siempre obtenga el tiempo de carga (en segundos) de una página que se haya cargado completamente, para así poder correr la espera explícita de arriba sin problemas.

Podría simplemente hacer que el proceso se repita " por la fuerza " hasta que la visibilidad del elemento esté finalmente cargada y así poder scrapear el dato, como por ejemplo, a través del uso de bloques try y exception.

Pero no sé qué debería escribir en el bloque exception para repetir lo que ponga en el try una y otra vez hasta que el elemento esté visible y pueda ser scrapeado.

1 respuesta 1

0

Para hacerlo como dices(usando el try, except), puedes establecer una variable que cumplirá la función de un contador, esta se irá aumentando hasta que pase el tiempo que le indiques (valor máximo de el contador), esa misma variable, siempre la tendrás que establecer antes de empezar a buscar el primer elemento de todos, por ejemplo:

x = 0 # Contador

driver.get(url)

while x < 100: # intentar encontrar el elemento en 10 segundos, sino, continua con el código
    try:
        elemento = driver.find_element_by_name('name')
        elemento.click() # O el evento que desees ejecutar

        x = 0 # Ya encontró el elemento, así que el contador vuelve a 0
        break # Sale del bucle

    except: # en caso de no encontrarlo

        time.sleep(0.1) # Espera 100 milisegundos (decima parte de un segundo), recuerda importar el modulo time: import time
        x += 1 # Aumenta el contador
        

Como vez, los sleep tienen (0.1), esto para encontrarlo y actuar mas rápido, pero igualmente los podrías reemplazar con (1), y además quitar un 0 al principio del while (esto hará mas lenta la búsqueda).

Si en el futuro se tiene que buscar otro elemento, sería lo mismo, solo que ya no tendrás la necesidad de declarar el contador, ya que este ya se estableció en 0 anteriormente.

Espero y sirva para lo que buscas, no soy un experto, pero esta es una manera practica de realizar tal procedimiento.

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.