Con rvest
es posible hacer "login" a sitios y mantenerse en el contexto de una sesión logeada para hacer todas las operaciones de "scrapping" que necesitemos. Al menos esto funciona con logins clásicos, habría que ver como es el mecanismo al sitio dónde quieres acceder, obviamente no puedo probarlo, por lo que accederemos a una página "demo" como está. La página ofrece un formulario como el siguiente:
Si ingresamos un login válido (por ejemplo: alex/alex) accederemos a esta url: http://www.aorank.com/tutorial/login-form-php-demo/profile.php
, si no estamos logeados nos redirigirá a la url de login.
La idea del ejemplo será logearse y obtener la página de esta segunda url, los pasos a seguir no son complicados:
1. Hacer el login
Creamos una sesión mediante html_session
y conservamos el objeto session
ya que lo necesitaremos luego para hacer el "scrapping", es muy importante también ubicar el # del formulario de login dentro de la página, en particular si hay más de uno en este ejemplo es el 1.
login.url <- "http://www.aorank.com/tutorial/login-form-php-demo/index.php"
session <- html_session(login.url) # Creamos una sesion
loginform <- html_form(session)[[1]] # Apuntar al form de login
Lo siguiente es configurar los valores de usuario y contraseña, esto variará según cada sitio/página, lo importante es ubicar los id´s de los campos de usuario, password y del botón "submit".
form <- submit_form(session=session,
form=filled_form,
submit="submit")
2. Captura de páginas dentro de la sesión
Si el login fue exitoso y lo podemos verificar analizando form$response$url
, podemos ahora sí, "capturar" la página en cuestión
url <- jump_to(session, "http://www.aorank.com/tutorial/login-form-php-demo/profile.php")
doc <- read_html(url)
En caso de éxito, doc
contendrá el código html de http://www.aorank.com/tutorial/login-form-php-demo/profile.php
, en caso de error debiéramos obtener la página de login nuevamente.
El código completo:
library(rvest)
# ##########################################################################################
# Login a la página
# ##########################################################################################
login.url <- "http://www.aorank.com/tutorial/login-form-php-demo/index.php"
session <- html_session(login.url) # Creamos una sesion
loginform <- html_form(session)[[1]] # Apuntar al form de login
# Completamos los datos de login, esto dependerá de la página
filled_form <- set_values(loginform, username = "alex", password = "alex")
# Enviamos el formulario
form <- submit_form(session=session,
form=filled_form,
submit="submit")
# ##########################################################################################
# Vamos a la URL que nos interesa siempre dentro de la sessión en la que no hemos logeado
# ##########################################################################################
url <- jump_to(session, "http://www.aorank.com/tutorial/login-form-php-demo/profile.php")
doc <- read_html(url)
doc
En caso que todo funcionase correctamente doc
sería:
{xml_document}
<html>
[1] <head>\n<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">\n<title>Your Home Page </title>\n<link rel= ...
[2] <body>\r\n<div id="profile">\r\n<b id="welcome">Welcome : <i>alex</i></b>\r\n<b id="logout"><a href="logout.php">Log Ou ...
>
Con el <b id="welcome">Welcome : <i>alex</i></b>
verificamos que nos hemos logeado exitosamente.
Espero te sirva.
webshot
que genera un explorador virtual, puede que tengas más suerte ;)!