2

Tengo un código en R que chequea si un set dado de direcciones URLs existen o no. Para lo cual cuento con un vector que contiene las urls llamado "pagina" y utilizo la función url.exists del paquete RCurl para ir chequeando la existencia de cada una en un bucle for.

require(RCurl)
for (i in 1:dim(pagina)[1]) {
urllogic[i]<- url.exists(urli, useragent="Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36")
}

Sin embargo en algunas urls especificas, se queda congelado y no continúa ejecutando el código. ¿Cómo puedo modificar el código para que pase de largo aquellos registros que tarden más de (por ej.) 30seg en chequearlos?

Muchas gracias.

4
  • Quedan congeladas, o dan un error? Si dan un error puedes incorporar un tryCatch como en los ejemplos aqui.
    – FvD
    el 4 jun. 2016 a las 21:48
  • @FvD no da error, simplemente queda congelada porque según lo que averigüé , la página al no reconocer el useragent mata la IP y el script se queda intentando ingresar pero nunca obtiene respuesta el 6 jun. 2016 a las 12:51
  • Una duda, ¿para qué necesitas definir el useragent en este caso concreto? el 21 jun. 2016 a las 11:10
  • Porque hay URLs que si no lo tengo definido, mata la IP y no me devuelve error. el 21 jun. 2016 a las 17:43

1 respuesta 1

2

Lo que te puede funcionar es hacer una combinación de tryCatch() con evalWithTimeout() como escrito por Bengtsson en R.utils. Por ejemplo algo como:

require(RCurl)
for (i in 1:dim(pagina)[1]) {
   tryCatch({
     evalWithTimeout({
        urllogic[i] <- url.exists(urli, useragent="Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36")
     }, timeout=2.0)
   }, TimeoutException=function(ex) {
        cat("Timeout. Pasando de largo.\n")
      }
   )
}

Escribi el codigo sin probarlo, asi que seguramente tiene un error, pero este es el camino por donde puedes llegar a la solución que buscas. La documentación es parte de R.utils evalWithTimetout.

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.