0

Tengo un Scrip en R que extrae datos de un portal web, desde la pagina la tabla tiene un filtro en una una columna que se llama "Intrumento", quisiera eliminar el filtro que en la URL se ve asi "Tool = IAD% 20Software% 20I% 20-% 20Microsoft", quisiera quitar el filtro para ver el total de registros.

El script en R es así

library(rvest)

urls.colombia.compra <- paste0("https://colombiacompra.gov.co/tienda-virtual-del-estado-colombiano/ordenes-compra?page=", 
                               0:11, 
                               "&number_order=&state=&entity=&tool=IAD%20Software%20I%20-%20Microsoft&date_to_=%20&date_from_=")


base.colombia.compra <- purrr::map_df(urls.colombia.compra, ~.x %>% read_html() %>% html_table)

base.colombia.compra

Cómo puedo editar el código para eliminar el filtro y poder ver todos los registros?

1
  • Entiendo que no puedes, o al menos si lo dejas en blanco deberías usar otro filtro ya que la página te exige que cargues algo Commented el 23 jul. 2021 a las 15:46

1 respuesta 1

1

Por lo que vi no se puede dejar en blanco o usar un comodín, así que no podrías quitar el filtro como tal. Sin embargo, dado que es un menú desplegable y tiene un conjunto predefinido de opciones lo se puede hacer es scrapear todos los posibles valores de "Instrumento" luego hacer un request con cada uno de ellos.

En tu caso usando el inspector de navegador encuentras que las opciones de "Instrumento" están listadas como un atributo value. En ese caso es cuestión de identificar la etiqueta que los contiene y luego escrapearlos.

Va una captura del inspector desde el navegador:

introducir la descripción de la imagen aquí

Va un ejemplo:

cruda <- read_html("https://colombiacompra.gov.co/tienda-virtual-del-estado-colombiano/ordenes-compra/?number_order=&state=&entity=&tool=Elementos%20para%20Emergencias&date_to&date_from")

cruda %>% 
  html_elements(".form-select") %>%   #Esta es la clase a la que pertenecen esos valores
  html_elements("option") %>%         #Este es el identificador
  html_attr("value") -> instrumentos   #Este el atributo que te interesa
 
head(instrumentos[6:133])  #Comienzo en la ubicación 6 porque las 5 primeras son basura que quedó ahí. 

[1] "Acceso Banda Ancha Municipios"             "Acuerdos Marco de Precios"                
[3] "Adquisición de Computadores y Periféricos" "Almacenamiento PAE"                       
[5] "Almacenamiento PAE II"                     "Alquiler de ETP II"

Con el vector instrumentos puedes iterar (usando map u otro) por cada búsqueda, es cuestión de armar la url correcta. Es lo mismo que hiciste para solucionar el problema del paginado. Algo así:

paste0("https://colombiacompra.gov.co/tienda-virtual-del-estado-colombiano/ordenes-compra/?number_order=&state=&entity=&tool=", 
       instrumentos[6:133], 
       "&date_to&date_from")

Podrías también usar un procedimiento similar para resolver el problema del paginado buscando en cada página cuál es el último elemento.

1

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.