Creé una programa en Python para hacer webscraping de datos en un website, al ejecutarlo a veces me arrojaba un problema, me explico:
WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.XPATH,'/Este_es_el_XPATH')))
Establecí la anterior espera explícita para obtener un dato en particular del website.
La mayoría de las veces que el programa realizó el proceso, funcionó muy bien.
Sin embargo, hubieron algunas ocasiones en las que se generó el siguiente error:
TimeoutException
Lo cual hacía que mi programa se detuviese y tuviese que repetir todo el largo proceso que ya había realizado.
El parámetro de espera de 10
segundos no siempre es efectivo.
Quisiera saber sí hay una forma de establecer este parámetro como una variable que siempre obtenga el tiempo de carga (en segundos) de una página que se haya cargado completamente, para así poder correr la espera explícita de arriba sin problemas.
Podría simplemente hacer que el proceso se repita " por la fuerza " hasta que la visibilidad del elemento esté finalmente cargada y así poder scrapear el dato, como por ejemplo, a través del uso de bloques try
y exception
.
Pero no sé qué debería escribir en el bloque exception
para repetir lo que ponga en el try
una y otra vez hasta que el elemento esté visible y pueda ser scrapeado.