1

buenas. Tengo extraídos todos los enlaces de una página web utilizando el lenguaje R y tengo que saber el status_code de cada enlace, comprobando antes si es una dirección absoluta o relativa, y añadir a una tabla cada enlace con su status_code. Lo estoy intentando con la función HEAD de httr, para los enlaces absolutos, y consigo muchos atributos de cada enlace, incluido el status_code, pero no consigo extraer ese valor para añadirlo al lado de cada enlace en la tabla. Adjunto el código de los que tengo, a ver si alguien me puede echar una mano. Para concretar, necesito el status_code de cada enlace extraido de la página y construir una tabla con los enlaces y esos status_code, todo ello en lenguaje r.

url <- "https://www.mediawiki.org/wiki/MediaWiki"
html <- GET(url) 

content <- content(html, as = "text")
content

parsedHtml <- htmlParse(content, asText = TRUE)
parsedHtml

links_text <- xpathSApply(parsedHtml, "//a", xmlValue)
links_text

links_url   <- xpathSApply(parsedHtml, "//a", xmlGetAttr, 'href')  
links_url

valores_nulos_url <- sapply(links_url, is.null)
links_url[valores_nulos_url] <- NA
links_url <- unlist(links_url)
links_url

df <- data.frame(Enlace = links_url, Texto = links_text)

handler <- httr::handle("https://www.mediawiki.org")

c <- df$Enlace[grep("http", df$Enlace)]
c <- as.list(c)


status_absoluto <- lapply(c, HEAD)

1 respuesta 1

1

Lo tienes prácticamente resuelto. status_absoluto es una lista dónde cada elemento, a su vez, es otra lista, de esta otra lo que buscas es obtener el status_code. Por ejemplo:

status_absoluto[[1]][["status_code"]]
[1] 200

Nuevamente puedes usar lapply y gracias a que casi todo en R es una función, puedes aplicar el índice o selección de elemnentos [[]] así:

df$status[grep("http", df$Enlace)] <- unlist(lapply(status_absoluto, `[[`, "status_code"))
1
  • Muchas gracias! Me faltaba esa última línea para poder añadirlo al data frame, que no conseguía hacerlo. Entiendo que para los enlaces relativos sería de igual manera pero poniendo dentro del HEAD en handler que tengo en el códgio de arriba ¿no?
    – Carlos
    Commented el 3 dic. 2020 a las 14:40

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.