1

Estoy intentando leer la tabla del histórico del salario mínimo mensual de Colombia, el Banco de la República publica el historico en el siguiente enlace Salario mínimo legal en Colombia pero no logro obtener la lectura correcta de la tabla. Alguna solución gracias.

library(rvest)
url <- "http://obieebr.banrep.gov.co/analytics/saw.dll?Go&Action=prompt&lang=es&NQUser=publico&NQPassword=publico&path=%2Fshared%2fSeries%20Estad%C3%ADsticas_T%2F1.%20Salarios%2F1.1%20Salario%20m%C3%ADnimo%20legal%20en%20Colombia%2F1.1.1.SLR_Serie%20hist%C3%B3rica&Options=rdf"
archivo <- read_html(url)
tablas <- html_nodes(archivo, "table")

tabla1 <- html_table(tablas[1], fill = TRUE, header = T, dec = ",")
datos <- as.data.frame(tabla1)
head(datos)

Mi resultado

[1] Var.1  Banco.de.la.República
<0 rows> (or 0-length row.names)

Resultado Esperado

1   1984    376.6  11298               0                         N/A 
2   1985   451.92  13558              20       0001 de enero de 1985 
3   1986   560.38  16811              24   3754 de diciembre de 1985 
4   1987   683.66  20510              22   3732 de diciembre de 1986 
...  ...      ...    ...             ...                         <NA>
32  2015 21478.33 644350             4.6 2731 de diciembre 30 de 2014
33  2016 22981.83 689455               7 2552 de diciembre 30 de 2015
34  2017 24590.56 737717               7 2209 de diciembre 30 de 2016
35  2018  26041.4 781242             5.9 2269 de diciembre 30 de 2017
1
  • 1
    Rafael, me parece que el problema es que la tabla que quieres leer se genera dinámicamente en el browser a través de javascript. Es decir, con el get que hace read_html() no obtienes la tabla, sino el código javascript que la genera. Por eso aparece en el navegador, pero no en R. el sitio del que estás intentando sacar los datos te da una opción para descargar los datos en el .csv. De momento es la mejor opción.
    – mpaladino
    el 23 jul. 2018 a las 14:53

2 respuestas 2

2

El diagnostico de @mpaladino parece ser el correcto, la página usa código javascript para "dibujar" la tabla de datos, ejecutar read_html() solo te devolverá el código estático, sin los datos cargados dinamicamente. Si no puedes usar los enlaces a la descarga que ofrece la página, necesitas atacar el problema de otra forma. una posibilidad es usar RSelenium, un motor para hacer "scrapping" que conceptualmente interactua con la página tal como lo haría un usuario, abriendo una instancia de un navegador, por lo que podemos capturar el código HTML final luego de la ejecución del código javascript.

require(RSelenium)
library(rvest)

# Se descarga automáticamente un chrome browser propio
# Esto puede demorar bastante
rD <- rsDriver()
remDr <- rD$client
remDr$open()
url <- "http://obieebr.banrep.gov.co/analytics/saw.dll?Go&Action=prompt&lang=es&NQUser=publico&NQPassword=publico&path=%2Fshared%2fSeries%20Estad%C3%ADsticas_T%2F1.%20Salarios%2F1.1%20Salario%20m%C3%ADnimo%20legal%20en%20Colombia%2F1.1.1.SLR_Serie%20hist%C3%B3rica&Options=rdf"
remDr$navigate(url)

# Recién cuando la página se ha cargado completamente
# Se libera la ejecución, y entonces podremos leer el HTML
doc <- remDr$getPageSource()[[1]]
page <- read_html(doc)
node <- html_nodes(page, xpath = '//td[@class="PTChildPivotTable"]') 
table <- xml_node(node, "table")

# Corregimos varios temas de la tabla capturada
datos <- as.data.frame(html_table(table, fill = TRUE, header = T, dec = ","))
colnames(datos) <- datos[1:5,1]
datos <- datos[-c(1:5),1:5]

# Ejemplo de los datos
head(datos)

    Año Salario mínimo diario Salario mínimo mensual Variación porcentual anual ¹ Decretos del Gobierno Nacional
6  1984              $ 376,60            $ 11.298,00                        0,00%                            N/A
7  1985              $ 451,92            $ 13.558,00                       20,00%          0001 de enero de 1985
8  1986              $ 560,38            $ 16.811,00                       24,00%      3754 de diciembre de 1985
9  1987              $ 683,66            $ 20.510,00                       22,00%      3732 de diciembre de 1986
10 1988              $ 854,58            $ 25.637,00                       25,00%      2545 de diciembre de 1987
11 1989            $ 1.085,32            $ 32.560,00                       27,00%      2662 de diciembre de 1988
2

Web scrapping de tablas generadas con javascript

Agrego una alternativa a Rselenium, que por problemas con algunas dependencias el paquete salió de CRAN y está más difícil de instalar. En esta alternativa, en lugar de selenium se usa phantomjs, una "navegador invisible" que ejecuta el código javascript de la página y guarda el resultado como html estático que posteriormente podemos leer y manipular desde R.

phantomjs

Es necesario tener instalado phantomjs. La instalación es muy fácil, solo consiste en copiar el binario a la ubicación desde la que lo queremos ejecutar. En linux lo copiamos a /usr/local/bin/ para que quede directamente en el PATH. También es necesario darle privilegios de ejecutable.

script javascript

phantomjs solo "come" javascript, así que tenemos que pasarle un script en ese lenguaje con las instrucciones. Yo adapté el que sigue a partir del ejemplo de https://www.r-bloggers.com/web-scraping-javascript-rendered-sites/

// scrapping_banco_colombia.js
// adaptado de https://www.r-bloggers.com/web-scraping-javascript-rendered-sites/


// en la siguiente línea cargamos la dirección web que queremos leer
var url ='http://obieebr.banrep.gov.co/analytics/saw.dll?Go&Action=prompt&lang=es&NQUser=publico&NQPassword=publico&path=%2Fshared%2fSeries%20Estad%C3%ADsticas_T%2F1.%20Salarios%2F1.1%20Salario%20m%C3%ADnimo%20legal%20en%20Colombia%2F1.1.1.SLR_Serie%20hist%C3%B3rica&Options=rdf';
var page = new WebPage()
var fs = require('fs');


page.open(url, function (status) {
        just_wait();
});

function just_wait() {
    setTimeout(function() {
//en la siguiente línea se puede especificar el nombre de archivo.      
               fs.write('datos.html', page.content, 'w');
            phantom.exit();
//algunas páginas muestran un mensaje de progreso u otr información antes de mostrar los datos, para eso se una este timeout, para que phanthom espere hasta que esté el resultado final. 
// está en milisegundos, en este caso espera 10 segundos antes de guardar el archivo.             
    }, 10000);
}

Es necesario guardar el script en un archivo con la extensión .js y recordar la ubicación. En este caso lo llamé scrapping_banco_colombia.js.

Generar el html estático.

Esta es la parte más fácil. Desde la consola del sistema operativo pasamos la instrucción:

pantomjs script_banco_colombia.js 

Si no queremos salir a la consola podemos hacerlo desde R con la función system. De hecho se podría crear un script que dinámicamente cree el archivo .js con una dirección web y nombre de archivo diferente. Esto respondería a un escenario más frecuente de scrapping, cuando queremos levantar muchos datos con la misma estructura.

system("phantomjs script_banco_colombia.js")

Y 10 segundos después obtenemos datos.html, o el nombre que demos al archivo modificando el script .js.

Si no funciona es probable que phantomjs no está registrado en el PATH de nuestro sistema operativo. Es buena práctica hacerlo.

Scrapping:

Lo siguiente es más o menos lo que hace la respuesta de Patricio escrita de otra manera:

library(rvest)
library(tidyverse)
library(stringr)

read_html("datos.html") %>%
  html_nodes( xpath = '//td[@class="PTChildPivotTable"]') %>% 
  html_nodes("table") %>% 
  html_table(fill = TRUE, header = T, dec = ",") %>% 
  .[[1]] %>%
  .[1:5] %>% 
  drop_na %>% 
  setNames(c("Año", 
             "Salario mínimo diario", 
             "Salario mínimo mensual", 
             "Variación porcentual anual", 
             "Decretos del Gobierno Nacional")) %>%  
  #Limpiar de símbolos y pasar a numérico.
mutate_all(funs(str_remove_all( ., "\\$|\\.|\\,|\\%"))) %>%  #Un regex que elimina $ . , %
mutate_all(str_trim) %>%                                     #Eliminar espacios en blanco
mutate_at(vars(-5), as.numeric)                              #Todas menos la última.

Agregué unas líneas de limpieza de caracteres para poder pasar a números las columnas correspondientes.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.