1

estoy intentando realizar un scraping para obtener datos de una farmacia, voy super bien en la parte de scraping vertical, pero no se como seguir horizontalmente. He buscado en sitios de internet, pero no me sale ninguna información. Creo que tiene que ver con algún tipo de ciclo, ya que el link va cambiando a medida que voy de una pagina a otra, como en mercado libre. El primer link de la página 1, es distinto al de la página 2, pero desde el segundo link, cambia solo el último dígito, como por ejemplo

https://salcobrand.cl/t/medicamentos?current_store_id=1&page=2

pasa a esto

https://salcobrand.cl/t/medicamentos?current_store_id=1&page=3

El codigo que llevo hasta ahora lo pongo abajo, pero no se como seguir ahora. Espero me puedan ayudar.


    library(rvest)
library(robotstxt)
library(selectr)
library(xml2)
library(dplyr)
library(stringr)
library(forcats)
library(magrittr)
library(tidyr)
library(ggplot2)
library(lubridate)
library(tibble)
library(purrr)


url = "https://salcobrand.cl/t/medicamentos"

# Leer el HTML
leahtml <- read_html(url)


#PRECIO

leahtml %>%
  html_nodes(".sale-price ") %>%
  html_text() -> price

precio = gsub("Oferta:","",price)
precio = gsub("Precio","",precio)
precio = gsub(" ","",precio)
precio = gsub("farmacia:","",precio)
precio_a = gsub("\\$","",precio)
precio_a = str_trim(precio_a)
precio_medicamento= substr(precio_a,1,5)
Precio_medicamento= as.numeric(precio_medicamento)

#NOMBRE

leahtml %>%
  html_nodes(".product-name") %>%
  html_text() -> Nombre

#FORMATO

leahtml %>%
  html_nodes(".product-info") %>%
  html_text() -> pactivo

pactivo = gsub("Principio","",pactivo)
pactivo = gsub("Pricipio","",pactivo)
pactivo = gsub(" ","",pactivo)
Principio_activo= gsub("Activo:","",pactivo)

pactivo_limpio

#FORMATO

leahtml %>%
  html_nodes(".option-value-catalog ") %>%
  html_text() -> Formato


dataset <- data.frame(Nombre,Principio_activo, Formato, Precio_medicamento)

1 respuesta 1

0

Bienvenido Javi Jerez,

una solución es crear una lista con las url de cada una de las páginas y luego usar un iterador para obtener el objeto html de cada página. Luego puedes hacer la limpieza con expresiones regulares, adaptando tu mismo código.

Por lo que vi esa farmacia tiene 118 páginas con información y el url es fijo, lo único que cambia es el último dígito. La siguiente línea pega sin espacios (paste0) la url base y números del 1 al 118. Así ya tienes todas las url que necesitas.

   lista_url <- paste0("https://salcobrand.cl/t/medicamentos?current_store_id=1&page=", 1:118)

El siguiente paso es usar un iterador para pasar read_html() por cada una de esas url que están en el objeto lista_url. Aquí uso map(), de la librería purrr. Como es solo una prueba de concepto voy a trabajar con las 2 url, las que están en las ubicaciones 20 y 21. Si quitas esos corchetes trabajarías con toda lista de 118 elementos.

html_crudo <- map(lista_url[20:21], ~read_html(.x)) 

html_crudo es una lista en la que cada elemento es el output de read_html(). El .x es como un comodín que map() va a reemplazar cada vez por la url que está en la lista.

Por último creo un data.frame en el que están las columnas que necesitas. Lo hacer pasando por la lista html_crudo y creando para cada elemento un data.frame que tiene 4 columnas. En cada columna se ubica el texto crudo (como sale de html_text()) que corresponde a cada etiqueta css. Una vez más .x es el nombre que internamente se resuelve como cada elemento de la lista input (html_crudo). Al usar map_df() la función reune todos esos data frames en uno solo.

map_df(html_crudo, 
~data.frame( 
  price = .x %>%
    html_nodes(".sale-price ") %>%
    html_text(), 
  
  nombre = .x %>%
    html_nodes(".product-name") %>%
    html_text(), 
  
  pactivo = .x %>% 
    html_nodes(".product-info") %>%
    html_text(),
  
  formato = .x %>%
    html_nodes(".option-value-catalog ") %>%
    html_text()
  )
)

Si todo sale bien ya tienes un data.frame con todos productos, precios, etc. Luego puedes usar expresiones regulares para limpiar cada columna. Esa parte creo que la manejas muy bien.

¿Por qué no hacerlo todo de una vez? Porque limpiar con regex es trabajo tedioso y hay que ver caso por caso. Mejor ya tener los datos crudos preprocesados e ir solucionando los problemas de a uno por vez.

Ojalá te sea de ayuda.

PD: dado que es común que haya errores cuando se hace webscraping (por timeout, porque la url no funciona, el servidor se cae, etc.) te sugiero que revises la función safely() de la librería purrr, que te ayudaría a que el map() no se pare si hay un error y te quede la lista páginas que dan error.

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.