Web scrapping de tablas generadas con javascript
Agrego una alternativa a Rselenium
, que por problemas con algunas dependencias el paquete salió de CRAN y está más difícil de instalar. En esta alternativa, en lugar de selenium
se usa phantomjs
, una "navegador invisible" que ejecuta el código javascript
de la página y guarda el resultado como html estático que posteriormente podemos leer y manipular desde R.
phantomjs
Es necesario tener instalado phantomjs
. La instalación es muy fácil, solo consiste en copiar el binario a la ubicación desde la que lo queremos ejecutar. En linux lo copiamos a /usr/local/bin/
para que quede directamente en el PATH. También es necesario darle privilegios de ejecutable.
script javascript
phantomjs
solo "come" javascript, así que tenemos que pasarle un script en ese lenguaje con las instrucciones. Yo adapté el que sigue a partir del ejemplo de https://www.r-bloggers.com/web-scraping-javascript-rendered-sites/
// scrapping_banco_colombia.js
// adaptado de https://www.r-bloggers.com/web-scraping-javascript-rendered-sites/
// en la siguiente línea cargamos la dirección web que queremos leer
var url ='http://obieebr.banrep.gov.co/analytics/saw.dll?Go&Action=prompt&lang=es&NQUser=publico&NQPassword=publico&path=%2Fshared%2fSeries%20Estad%C3%ADsticas_T%2F1.%20Salarios%2F1.1%20Salario%20m%C3%ADnimo%20legal%20en%20Colombia%2F1.1.1.SLR_Serie%20hist%C3%B3rica&Options=rdf';
var page = new WebPage()
var fs = require('fs');
page.open(url, function (status) {
just_wait();
});
function just_wait() {
setTimeout(function() {
//en la siguiente línea se puede especificar el nombre de archivo.
fs.write('datos.html', page.content, 'w');
phantom.exit();
//algunas páginas muestran un mensaje de progreso u otr información antes de mostrar los datos, para eso se una este timeout, para que phanthom espere hasta que esté el resultado final.
// está en milisegundos, en este caso espera 10 segundos antes de guardar el archivo.
}, 10000);
}
Es necesario guardar el script en un archivo con la extensión .js
y recordar la ubicación. En este caso lo llamé scrapping_banco_colombia.js
.
Generar el html estático.
Esta es la parte más fácil. Desde la consola del sistema operativo pasamos la instrucción:
pantomjs script_banco_colombia.js
Si no queremos salir a la consola podemos hacerlo desde R con la función system
. De hecho se podría crear un script que dinámicamente cree el archivo .js
con una dirección web y nombre de archivo diferente. Esto respondería a un escenario más frecuente de scrapping, cuando queremos levantar muchos datos con la misma estructura.
system("phantomjs script_banco_colombia.js")
Y 10 segundos después obtenemos datos.html, o el nombre que demos al archivo modificando el script .js
.
Si no funciona es probable que phantomjs
no está registrado en el PATH de nuestro sistema operativo. Es buena práctica hacerlo.
Scrapping:
Lo siguiente es más o menos lo que hace la respuesta de Patricio escrita de otra manera:
library(rvest)
library(tidyverse)
library(stringr)
read_html("datos.html") %>%
html_nodes( xpath = '//td[@class="PTChildPivotTable"]') %>%
html_nodes("table") %>%
html_table(fill = TRUE, header = T, dec = ",") %>%
.[[1]] %>%
.[1:5] %>%
drop_na %>%
setNames(c("Año",
"Salario mínimo diario",
"Salario mínimo mensual",
"Variación porcentual anual",
"Decretos del Gobierno Nacional")) %>%
#Limpiar de símbolos y pasar a numérico.
mutate_all(funs(str_remove_all( ., "\\$|\\.|\\,|\\%"))) %>% #Un regex que elimina $ . , %
mutate_all(str_trim) %>% #Eliminar espacios en blanco
mutate_at(vars(-5), as.numeric) #Todas menos la última.
Agregué unas líneas de limpieza de caracteres para poder pasar a números las columnas correspondientes.
get
que haceread_html()
no obtienes la tabla, sino el código javascript que la genera. Por eso aparece en el navegador, pero no en R. el sitio del que estás intentando sacar los datos te da una opción para descargar los datos en el .csv. De momento es la mejor opción.