1

Estoy intentando obtener los datos que hay en la siguiente web

Para ello uso la libreria rvest:

url <- "https://stats.nba.com/teams/advanced/?sort=OFF_RATING&dir=-1&CF=MIN*GE*15&Season=2018-19&SeasonType=Regular%20Season"

tmp <- read_html(url)

tmp2 <- html_nodes(tmp, "table")

Al correr la última orden el objeto obtenido tmp2 tiene valor 0.

Alguien puede echarme una mano??

Gracias!!

1 respuesta 1

1

Problemas

  1. La tabla no está en html directo, se crea a través de javascript el html de la tabla directamente en el navegador, entonces el método de leer la url con read_html() no funciona. Dicho de otro modo, tendrías que usar como intermediario un navegador/robot para descargar la página, hacer el render y leer del código javascript incrustado y después leer el resultado con read_html().

  2. La tabla no es una tabla estandar de html, está separado el encabezado de la tabla (los nombres de columna) del cuerpo. Uno está en el nodo thead (que está vacío de contenido) y el resto en el nodo tbody. Si me preguntas creo que a los dueños de la página no les simpatiza mucho el scraping, aunque en sus términos de uso no lo prohíben explícitamente. De todos modos te sugiero revisarlo para asegurarte de que lo que quieres hacer no está en contra de la política del sitio. Básicamente depende del uso que vayas a darle a los datos, se pueden descargar, pero no reproducir públicamente.

Soluciones

  1. En esta pregunta hay más detalles y un par de aproximaciones a ese problema. La respuesta de @Patricio Moracho es la que funciona en este caso, con phantomjs no pude hacerlo andar. Voy a pegar un código que me funcionó para solventar este paso, sin muchas explicaciones.

    library(RSelenium)  # Está de nuevo en CRAN!
    rD <- rsDriver()    #Copipasta del código de Patricio en la pregunta enlazada. Funciona, pero no sé bien como o por que. 
    remDr <- rD$client
    remDr$open()
    url <- "https://stats.nba.com/teams/advanced/?sort=OFF_RATING&dir=-1&CF=MIN*GE*15&Season=2018-19&SeasonType=Regular%20Season"
    remDr$navigate(url)
    doc <- remDr$getPageSource()[[1]]
    page <- read_html(doc)
    

Con esto llegamos a un objeto de la clase xml_node que contiene la tabla en lugar de un mensaje que indica que se está cargando la tabla.

  1. La tabla NO es estandar, así que no es posible usar (al menos yo no pude) html_table para sacar un data.frame bien formateado de manera fácil. La alternativa que encontré es:

    • Identificar y extraer el nodo previo a la tabla (nba-stat-table)
    • Identificar y extraer el nodo con el cuerpo de la tabla (tbody)
    • Extraer una lista con todos los nodos de fila de tabla (tr)
    • Extraer el texto de esos nodos en un vector. No tiene bien los nombres y no tiene estructura de tabla, pero ahí está la información.
    • Pasar ese vector a una matriz de 30 columnas, una por equipo.
    • Pasarla a data.frame.
    • Pegar manualmente los 18 nombres de variable.
    • Pasarlo a formato largo para que no haya una columna por equipo (tidydata)

Texto insertado para cortar la lista anterior que rompe la regla de cuatro espacios para el código.

    page %>%  
    html_node("nba-stat-table") %>%  
    html_node("tbody") %>%  
    html_nodes("td") %>%  
    html_text() %>%  
    matrix(ncol = 30) %>%  
    data.frame(stringsAsFactors = F) -> datos  

    as.character(datos[2,]) -> nombres  

    datos %>%   
      set_names(nombres) %>%  
      slice(3:ncol(datos)) %>%   
      mutate(dato = c("GP",     "W", "L", "MIN", "OffRtg", "DefRtg", "NetRtg",  "AST%", "AST/TO", "AST_Ratio", "OREB%", "DREB%",    "REB%", "TOV%", "eFG%", "TS%", "PACE",  "PIE")) %>% #Nombres a mano... muy feo   
      gather(equipo, valor, -dato) -> datos_limpios  

    head(datos_limpios)  

          dato          equipo  valor
      1     GP Milwaukee Bucks     22
      2      W Milwaukee Bucks     15
      3      L Milwaukee Bucks      7
      4    MIN Milwaukee Bucks 1066.0
    5 OffRtg Milwaukee Bucks  115.5
    6 DefRtg Milwaukee Bucks  106.0

Con esto conseguimos unos datos largos que con `spread(datos_limpios, dato, valor) pasan a tidydata: cada fila es un equipo y cada columna un atributo de ese equipo. Como verás funciona, pero tiene muchísimo código ad hoc no parametrizado.

  • el número de columnas
  • El número y los nombres de las variables. Esto es lo más complicado de resolver y está dado porque el sitio separó la tabla en dos partes. A efectos visuales en el navegador no genera problema, para scraping sí.

Espero que te ayude.

Agregado: código para extraer los nombres de columna de thead

page %>% 
  html_nodes(xpath = '//th[not(@hidden="") and not(@data-field="TEAM_NAME") and @sort=""]') %>% #Hay columnas escondidas y otras inncesarias, este xpath matchea solamente las informativas.
  html_text() -> nombres_columna
4
  • Por algún motivo no me está funcionando la regla de cuatro espacios para marcar una bloque de código.
    – mpaladino
    el 4 dic. 2018 a las 22:56
  • El problema se da cuando el bloque de código viene después de una lista numerada o lista de viñetas
    – mpaladino
    el 4 dic. 2018 a las 23:01
  • Hola, Me ha funcionado todo perfecto!!!!!!! Muchas gracias!!!!! Enorme trabajo el de todos vosotros.
    – Uko
    el 5 dic. 2018 a las 17:51
  • Que bueno! Si consideras que la respuesta soluciona el problema puedes marcarla como respondida, así quedará marcada para futuros y futuras visitantes con problemas similares.
    – mpaladino
    el 5 dic. 2018 a las 19:51

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.