2

Tengo un código en R que chequea si un set dado de direcciones URLs existen o no. Para lo cual cuento con un vector que contiene las urls llamado "pagina" y utilizo la función url.exists del paquete RCurl para ir chequeando la existencia de cada una en un bucle for.

require(RCurl)
for (i in 1:dim(pagina)[1]) {
urllogic[i]<- url.exists(urli, useragent="Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36")
}

Sin embargo en algunas urls especificas, se queda congelado y no continúa ejecutando el código. ¿Cómo puedo modificar el código para que pase de largo aquellos registros que tarden más de (por ej.) 30seg en chequearlos?

Muchas gracias.

4
  • Quedan congeladas, o dan un error? Si dan un error puedes incorporar un tryCatch como en los ejemplos aqui.
    – FvD
    el 4 jun. 2016 a las 21:48
  • @FvD no da error, simplemente queda congelada porque según lo que averigüé , la página al no reconocer el useragent mata la IP y el script se queda intentando ingresar pero nunca obtiene respuesta el 6 jun. 2016 a las 12:51
  • Una duda, ¿para qué necesitas definir el useragent en este caso concreto? el 21 jun. 2016 a las 11:10
  • Porque hay URLs que si no lo tengo definido, mata la IP y no me devuelve error. el 21 jun. 2016 a las 17:43

1 respuesta 1

2

Lo que te puede funcionar es hacer una combinación de tryCatch() con evalWithTimeout() como escrito por Bengtsson en R.utils. Por ejemplo algo como:

require(RCurl)
for (i in 1:dim(pagina)[1]) {
   tryCatch({
     evalWithTimeout({
        urllogic[i] <- url.exists(urli, useragent="Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36")
     }, timeout=2.0)
   }, TimeoutException=function(ex) {
        cat("Timeout. Pasando de largo.\n")
      }
   )
}

Escribi el codigo sin probarlo, asi que seguramente tiene un error, pero este es el camino por donde puedes llegar a la solución que buscas. La documentación es parte de R.utils evalWithTimetout.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.