Problemas
La tabla no está en html directo, se crea a través de javascript el html de la tabla directamente en el navegador, entonces el método de leer la url con read_html()
no funciona. Dicho de otro modo, tendrías que usar como intermediario un navegador/robot para descargar la página, hacer el render y leer del código javascript incrustado y después leer el resultado con read_html()
.
La tabla no es una tabla estandar de html, está separado el encabezado de la tabla (los nombres de columna) del cuerpo. Uno está en el nodo thead
(que está vacío de contenido) y el resto en el nodo tbody
. Si me preguntas creo que a los dueños de la página no les simpatiza mucho el scraping, aunque en sus términos de uso no lo prohíben explícitamente. De todos modos te sugiero revisarlo para asegurarte de que lo que quieres hacer no está en contra de la política del sitio. Básicamente depende del uso que vayas a darle a los datos, se pueden descargar, pero no reproducir públicamente.
Soluciones
En esta pregunta hay más detalles y un par de aproximaciones a ese problema. La respuesta de @Patricio Moracho es la que funciona en este caso, con phantomjs no pude hacerlo andar. Voy a pegar un código que me funcionó para solventar este paso, sin muchas explicaciones.
library(RSelenium) # Está de nuevo en CRAN!
rD <- rsDriver() #Copipasta del código de Patricio en la pregunta enlazada. Funciona, pero no sé bien como o por que.
remDr <- rD$client
remDr$open()
url <- "https://stats.nba.com/teams/advanced/?sort=OFF_RATING&dir=-1&CF=MIN*GE*15&Season=2018-19&SeasonType=Regular%20Season"
remDr$navigate(url)
doc <- remDr$getPageSource()[[1]]
page <- read_html(doc)
Con esto llegamos a un objeto de la clase xml_node
que contiene la tabla en lugar de un mensaje que indica que se está cargando la tabla.
La tabla NO es estandar, así que no es posible usar (al menos yo no pude) html_table
para sacar un data.frame bien formateado de manera fácil. La alternativa que encontré es:
- Identificar y extraer el nodo previo a la tabla (
nba-stat-table
)
- Identificar y extraer el nodo con el cuerpo de la tabla (
tbody
)
- Extraer una lista con todos los nodos de fila de tabla (
tr
)
- Extraer el texto de esos nodos en un vector. No tiene bien los nombres y no tiene estructura de tabla, pero ahí está la información.
- Pasar ese vector a una matriz de 30 columnas, una por equipo.
- Pasarla a data.frame.
- Pegar manualmente los 18 nombres de variable.
- Pasarlo a formato largo para que no haya una columna por equipo (tidydata)
Texto insertado para cortar la lista anterior que rompe la regla de cuatro espacios para el código.
page %>%
html_node("nba-stat-table") %>%
html_node("tbody") %>%
html_nodes("td") %>%
html_text() %>%
matrix(ncol = 30) %>%
data.frame(stringsAsFactors = F) -> datos
as.character(datos[2,]) -> nombres
datos %>%
set_names(nombres) %>%
slice(3:ncol(datos)) %>%
mutate(dato = c("GP", "W", "L", "MIN", "OffRtg", "DefRtg", "NetRtg", "AST%", "AST/TO", "AST_Ratio", "OREB%", "DREB%", "REB%", "TOV%", "eFG%", "TS%", "PACE", "PIE")) %>% #Nombres a mano... muy feo
gather(equipo, valor, -dato) -> datos_limpios
head(datos_limpios)
dato equipo valor
1 GP Milwaukee Bucks 22
2 W Milwaukee Bucks 15
3 L Milwaukee Bucks 7
4 MIN Milwaukee Bucks 1066.0
5 OffRtg Milwaukee Bucks 115.5
6 DefRtg Milwaukee Bucks 106.0
Con esto conseguimos unos datos largos que con `spread(datos_limpios, dato, valor) pasan a tidydata: cada fila es un equipo y cada columna un atributo de ese equipo.
Como verás funciona, pero tiene muchísimo código ad hoc no parametrizado.
- el número de columnas
- El número y los nombres de las variables. Esto es lo más complicado de resolver y está dado porque el sitio separó la tabla en dos partes. A efectos visuales en el navegador no genera problema, para scraping sí.
Espero que te ayude.
Agregado: código para extraer los nombres de columna de thead
page %>%
html_nodes(xpath = '//th[not(@hidden="") and not(@data-field="TEAM_NAME") and @sort=""]') %>% #Hay columnas escondidas y otras inncesarias, este xpath matchea solamente las informativas.
html_text() -> nombres_columna