2

Estoy realizando Web Scraping para obtener dos variables precio y area. Sucede que precio tiene un length() mayor que area dado que no todas las publicaciones tienen area. Con la información debo crear un data frame pero como el largo de los datos es distintos es imposible, sí se pudiera lograr ensamblar dos variables con distintos largos sería imposible unir cada precio con cada area. La pregunta es Cómo se puede scrapear los datos de manera que cuando no existe area en ese elemento de la lista haya un string de algún tipo por ejemplo NA?. Estoy utilizando el paquete rvest

En este link tienen el mismo problema pero no está resuelto. https://stackoverflow.com/questions/29996952/r-rvest-getting-2-elements-nodes-at-the-same-time

El código es

library(rvest)
library(robotstxt)
library(selectr)
library(xml2)
library(dplyr)
library(stringr)
library(forcats)
library(magrittr)
library(tidyr)
library(ggplot2)
library(lubridate)
library(tibble)
library(purrr)

url = "https://capital-federal.properati.com.ar/nf/propiedades/venta/"
paths_allowed(paths = c(url))

# Leer el HTML
leahtml <- read_html(url)

leahtml %>%
  html_nodes(".price") %>%
  html_text() -> price

leahtml %>%
  html_nodes(".area") %>%
  html_text() -> area

leahtml %>%
  html_nodes(".location") %>%
  html_text() -> location

precio = gsub("\n","",price)
precio = gsub("exp","",precio)
precio_a = gsub("\\$","",precio)
precio_b = gsub("US","",precio_a)
precio_limpio = gsub("\\.","",precio_b)
precio_limpio = str_trim(precio_limpio)
precio_su= substr(precio_limpio,1,5)
precio_su= as.numeric(precio_su)

area_a = gsub("\n","",area)
area_b = gsub("m²","",area_a)
area_limpia = as.numeric(area_b)

dataset <- data.frame(location, area_limpia, precio_su)
2
  • Por favor, agrega la url que estás intentando "escrapear" y el código que tengas hasta ahora. Saludos Commented el 29 abr. 2020 a las 14:07
  • Ya modifiqué la pregunta @PatricioMoracho. Disculpas por la desprolijidad del código.
    – kev
    Commented el 29 abr. 2020 a las 14:24

1 respuesta 1

1

El problema, ya te habrás dados cuenta, es que hay propiedades que no tienen area, por lo que no te sirve capturar precio y area por separado. Debes trabajar sobre el nodo que representa cada propiedad y sobre estos elementos buscar cada dato. Una forma rápida, sería:

library(rvest)
library(tidyverse)

url = "https://capital-federal.properati.com.ar/nf/propiedades/venta/"

read_html(url) %>% 
  html_nodes('.item-description')  %>% 
  map_df( ~ {
              precio = html_nodes(.x, ".price") %>%  html_text() %>% str_replace_all( pattern="\n| ", repl="")
              area = html_nodes(.x, ".area") %>%  html_text() %>% str_replace_all( pattern="[\n| ] ", repl="")
              area <- ifelse(length(area)>0, area, NA_character_)
              list(precio=precio, area=area)
  }) 


# A tibble: 18 x 2
   precio                area    
   <chr>                 <chr>   
 1 U$S930.000$16082exp   " 285m²"
 2 U$S990.000            " 116m²"
 3 U$S160.000            " 120m²"
 4 U$S120.000            " 55m²" 
 5 U$S2.200.000           NA     
 6 U$S178.359            " 65m²" 
 7 U$S258.000$11500exp   " 157m²"
 8 U$S749.000$25500exp   " 111m²"
 9 U$S230.000$2157138exp " 134m²"
10 U$S112.000$4500exp    " 61m²" 
11 U$S280.000             NA     
12 U$S170.000$4000exp    " 72m²" 
13 U$S480.000             NA     
14 U$S250.000             NA     
15 U$S125.000$3500exp    " 66m²" 
16 U$S340.000             NA     
17 U$S258.000$15000exp   " 86m²" 
18 U$S120.000            " 55m²" 

Detalle:

  • Iteramos por los nodos .item-description que engloba a cada propiedad
  • Usando map_df por cada elemento extraemos ahora sí, el area y el precio, agregué un reemplazo de algunos caracteres con str_replace_all() simplemente para que la salida se vea más clara.
  • Finalmente map_df nos retorna un tibble con cada propiedad y sus variables.
3
  • Gracias. Ahora realice una función para que extraiga 50 hojas y me queda una lista conformada por tres atributos. Me trae 50 listas como la de tu resultado, pero cómo puedo transformarlo en df ya que tienen distinto números de columnas.
    – kev
    Commented el 29 abr. 2020 a las 20:50
  • ¿Por que distinto número de columnas? si replicaste el código de mi respuesta cada lista debería tener el mismo número de columnas. Si ese fuera el caso podrías probar con bind_rows() . Commented el 29 abr. 2020 a las 21:08
  • 1
    Muchas Gracias por tu ayuda @Patricio Moracho. Ya lo solucioné usando do.call(rbind, web_data) donde web_data = lapply(url, pags) function(todo el código que propusiste)
    – kev
    Commented el 29 abr. 2020 a las 21:11

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.