0

Estoy extrayendo información de productos de la página web de un supermercado. No tengo problemas para acceder al nombre, el fabricante, etc., pero no puedo acceder al dato de precios.

He escuchado que es posible enviar cookies al navegador para que no identifique que se trata de un bot, he buscado en muchos sitios pero no he encontrado una respuesta satisfactoria. Probablemente se puede con el uso del paquete CRurl, pero no estoy seguro.

¿Existe algún método para esto?

Mi código es el siguiente:

> enlace<-"http://www.exito.com/products/0000228194195697/Crema+Dental+Sensodyne+Original+Tubo+90+gr"
> download.file(enlace, destfile = "scrapedpage.html", quiet=TRUE)
> doc<-read_html("scrapedpage.html")
> 
> # nnombre
> toString(xml_find_all(doc,xpath='//*[@id="prd0000228194195697"]/div[1]/h1'))
[1] "<h1 class=\"name\">Crema Dental Sensodyne Original Tubo 90 gr</h1>"
> # fabricante
> toString(xml_find_all(doc,xpath='//*[@id="prd0000228194195697"]/div[1]/h2'))
[1] "<h2 class=\"brand\">SENSODYNE</h2>"
> # plu
> toString(xml_find_all(doc,xpath='//*[@id="prd0000228194195697"]/div[1]/div[1]'))
[1] "<div class=\"plu\"> PLU: 927050 </div>"
> # presentación
> toString(xml_find_all(doc,xpath='//*[@id="prd0000228194195697"]/div[1]/div[2]'))
[1] "<div class=\"reference\"> Presentación: C</div>"
> # precio
> toString(xml_find_all(doc,xpath='//*[@id="prd0000228194195697"]/div[3]/div[1]/p/span/text()'))
[1] ""
1
  • Intenta con el paquete webshot que genera un explorador virtual, puede que tengas más suerte ;)!
    – jbkunst
    Commented el 29 jun. 2017 a las 5:51

1 respuesta 1

0

Con rvest es posible hacer "login" a sitios y mantenerse en el contexto de una sesión logeada para hacer todas las operaciones de "scrapping" que necesitemos. Al menos esto funciona con logins clásicos, habría que ver como es el mecanismo al sitio dónde quieres acceder, obviamente no puedo probarlo, por lo que accederemos a una página "demo" como está. La página ofrece un formulario como el siguiente:

introducir la descripción de la imagen aquí

Si ingresamos un login válido (por ejemplo: alex/alex) accederemos a esta url: http://www.aorank.com/tutorial/login-form-php-demo/profile.php, si no estamos logeados nos redirigirá a la url de login.

introducir la descripción de la imagen aquí

La idea del ejemplo será logearse y obtener la página de esta segunda url, los pasos a seguir no son complicados:

1. Hacer el login

Creamos una sesión mediante html_session y conservamos el objeto session ya que lo necesitaremos luego para hacer el "scrapping", es muy importante también ubicar el # del formulario de login dentro de la página, en particular si hay más de uno en este ejemplo es el 1.

login.url <- "http://www.aorank.com/tutorial/login-form-php-demo/index.php" 
session <- html_session(login.url) # Creamos una sesion
loginform <- html_form(session)[[1]] # Apuntar al form de login 

Lo siguiente es configurar los valores de usuario y contraseña, esto variará según cada sitio/página, lo importante es ubicar los id´s de los campos de usuario, password y del botón "submit".

form <- submit_form(session=session,
                    form=filled_form,
                    submit="submit")

2. Captura de páginas dentro de la sesión

Si el login fue exitoso y lo podemos verificar analizando form$response$url, podemos ahora sí, "capturar" la página en cuestión

url <- jump_to(session, "http://www.aorank.com/tutorial/login-form-php-demo/profile.php")
doc <- read_html(url)

En caso de éxito, doc contendrá el código html de http://www.aorank.com/tutorial/login-form-php-demo/profile.php, en caso de error debiéramos obtener la página de login nuevamente.

El código completo:

library(rvest)

# ##########################################################################################
# Login a la página
# ##########################################################################################
login.url <- "http://www.aorank.com/tutorial/login-form-php-demo/index.php" 
session <- html_session(login.url) # Creamos una sesion
loginform <- html_form(session)[[1]] # Apuntar al form de login 

# Completamos los datos de login, esto dependerá de la página
filled_form <- set_values(loginform, username = "alex", password = "alex") 

# Enviamos el formulario
form <- submit_form(session=session,
                    form=filled_form,
                    submit="submit")

# ##########################################################################################
# Vamos a la URL que nos interesa siempre dentro de la sessión en la que no hemos logeado
# ##########################################################################################
url <- jump_to(session, "http://www.aorank.com/tutorial/login-form-php-demo/profile.php")
doc <- read_html(url)
doc

En caso que todo funcionase correctamente doc sería:

{xml_document}
<html>
[1] <head>\n<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">\n<title>Your Home Page </title>\n<link rel= ...
[2] <body>\r\n<div id="profile">\r\n<b id="welcome">Welcome : <i>alex</i></b>\r\n<b id="logout"><a href="logout.php">Log Ou ...
> 

Con el <b id="welcome">Welcome : <i>alex</i></b>verificamos que nos hemos logeado exitosamente.

Espero te sirva.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.