1

Actualmente me encuentro realizando un análisis de datos de Twitter, mas específicamente nubes de palabras para un cliente de su cuenta corporativa de Twitter.

Mi intención es tomar una muestra aleatoria representativa de los usuarios que hablan por DM a la cuenta de mi cliente y obtener los tuits, tipo de dispositivo que usa y la cantidad de palabras por tuits de cada timeline.

Para esto tengo el siguiente código

library(tidyverse)
library(rtweet)

set.seed(1234)


filas <- nrow(twitter)
muestra <- sample(filas*0.30)

twitter_sample <- twitter[muestra,]

twitter_sample$Nick.del.Cliente <- as.character(twitter_sample$Nick.del.Cliente)

i <- 1

for (i in 1:length(muestra)){
  usuario <- paste('@', twitter_sample$Nick.del.Cliente, sep = '' )
  }

(usuario)

j <- 1

texto <-  data.frame(matrix(ncol = 283, nrow = 100))
tipo <- data.frame(matrix(ncol = 283, nrow = 100))
cantidad <- data.frame(matrix(ncol = 283, nrow = 100))



for (j in 1:283){
  total <- get_timeline(usuario[j], n =100, include_rts = F)
  texto[,j] <- total$text
  tipo[,j] <- total$source
  cantidad[,j] <- total$display_text_width
}

En la primera parte genero una muestra aleatoria desde otra base de datos, hasta ahí todo bien, logro crear una lista y agregarle el "@" a cada usuario.

Luego creo 3 dataframes en blanco, con 100 filas, donde cada fila quiero que vaya un tuit y que cada columna sea un usuario distinto. Es decir la columna uno es el usuario 1 y 100 de sus tuits, y asi sucesivamente para cada base de datos.

Al correr el segundo "for" tengo el siguiente error:


Error in `[<-.data.frame`(`*tmp*`, , j, value = c("@Bellealouette Influencia? Quien es ella que no sabe que es influenza?",  : 
  replacement has 96 rows, data has 100.

Por lo que entiendo me dice que la estoy intentando agregar 96 filas a una base de 100 filas, pero si cambio la cantidad de filas de las bases y la cantidad de tuits sigo teniendo el mismo error.


Error in `[<-.data.frame`(`*tmp*`, , j, value = c("@Bellealouette Influencia? Quien es ella que no sabe que es influenza?",  : 
  replacement has 78 rows, data has 80

Cada vez que cambio el numero de tuits o filas el error es el mismo, no esta demás mencionar que no me manejo mucho con los "for" o loops o cosas muy de "programación".

Muchas gracias de ante mano!

4
  • Hola Edjotace. Bienvenido y gracias por tu pregunta. Que bien que quieras aprender cosas muy de "programación".
    – Arriel
    el 5 may. 2020 a las 0:10
  • Hola @Edjotace, bienvenido. Lamentablemente no puedo reproducir el problema porque no me está funcioando get_timeline(). Es un error medio random que ya están reportado, ojalá se arregle pronto. De todos modos te hago algunos preguntas que podrían ayudarte a resolver el problema. ¿Estás seguro que todos tus usuarios tienen al menos 100 tw en el período que da información get_timelines()? Lo de n = es medio orientativo, a veces salen algunos más, a veces menos. Por eso no sé si es buena idea usar una estructura de datos con largo fijo.
    – mpaladino
    el 5 may. 2020 a las 17:37
  • Si no te genera muchos problemas downstream o como paso intermedio podrías usar una estructura de datos diferente en la que cada fila sea un tweet identificado por usuario. Ahí podrías normalizar asegurando que cada user tenga exactamente 100 tw y después pasar a formato "ancho" en el que cada user es una columna.
    – mpaladino
    el 5 may. 2020 a las 17:41
  • @mpaladino Gracias por la respuesta, luego de mucho meter mano anoche efectivamente el problema es que tengo muchos usuarios que tienen 0 o muy pocos tuits, que es lo que me genera el problema. Actualmente estoy eliminando a mano cada vez que el "for" se detiene por el mismo error. Sabes como podría evitar que el "for" se detenga cada vez que se encuentra con un usuario que no cumpla con el numero de tuits deseados?
    – Edjotace
    el 5 may. 2020 a las 20:42

1 respuesta 1

0

En mi experiencia el argumento n = de la función get_timeline() es aproximado, a veces la API regresa menos filas (tweets). Entonces se puede complicar un poco preparar una estructura de datos con unas dimensiones prefijadas, porque si la API regresa menos (o más) datos entonces tenemos un error.

Una alternativa es aprovechar las estructuras de datos de R y usar listas tanto como se pueda. La ventaja de las listas es que son flexibles y permiten organizar datos con largo disímiles. Además te permiten iterar fácilmente sin complicarte con bucles usando lapply() o alguna similar que aplique a tu problema.

Voy a crear un ejemplo reproducible de un problema. Para usuarios voy a usar 4 perfiles públicos de personas vinculadas con R. El paso para llegar a este vector ya lo tienes resuelto, yo lo defino "a mano".

usuarios <- c("hadleywickham", "pdalgd", "robtibshirani", "djnavarro") #No es necesaria la @ en rtweet

El siguiente paso es usar la API de tweeter para descargar los tl. En lugar de un bucle voy a usar lapply(), que implementa un bucle implícito. El resultado va a ser una lista en la que cada elemento es un data frame con toda la información que da get_timeline() para cada usuario. Elegí a un usuario que tiene solo 27 tweets (Tibshirani) para generar un caso que será problemático.

lista_tweets <- lapply(usuarios, function(x) {get_timeline(x, n = 100)})

Con la lista descargada voy al siguiente paso, documentado en comentarios

bind_rows(lista_tweets) %>%                                   #Paso de lista de data.frames a un solo data.frame
  select(screen_name, text, source, display_text_width) %>%   #El resto no me interesa
  group_by(screen_name) %>%                                   #Para que el siguiente paso se haga por cada usuario
  mutate(indice = row_number())  %>%                          #Pongo un índice para que pivot_wider tenga una referencia del orden de las filas
  pivot_wider(                                                #Pivoteo los datos
              id_cols = "indice",                             #Cada nro de índice será una fila
              names_from = "screen_name",                     #Los nombres columna serán cada valor único de screen_name
              values_from = c("text",                         #Cada columna será un combinación de scree_name y variable
                              "source", 
                              "display_text_width")
              ) -> intermedio

El resultado es un data.frame de 100 filas por 13 columnas. ¿por qué 13? Porque tengo 1 columna para indice (de poco valor después del procesado, pero muy útil mientras tanto) y 4 usuarios x 3 variables = 12.

Sé que buscas tres data.frame, uno por variable. Podrías hacer el subset a mano, pero se puede usar lapply también para esto ;)

Primero creo un vector nombrado con los prefijos de columna que creo pivot_wider(). Uso nombres porque los va a heredar la lista final y facilita las cosas.

prefijos <- c(text = "text_", 
              source = "source_", 
              display_text_width = "display_text_width_")

Después itero sobre ese vector. En cada iteración va a seleccionar solamente las columnas que tienen ese prefijo. Como son tres elementos en el vector voy a obtener una lista con tres elementos.

lapply(prefijos, function(x) {
  select(intermedio, starts_with(x)) %>% 
           rename_all(~str_remove(., x))  #Esta línea es complicada porque usa otra convención para definir funciones anónimas, el ~ en lugar de function (x) {}
  }) -> lista_columnas

Y obtengo una lista a la que puedo llamar con lista_columnas$text si quiero el df de text, lista_columnas$source si necesito el dispositivo y así.

Ojalá te sea útil.

Actualización: como hacer muchas nubes de palabras

En lugar de armar un data.frame directamente trabajo con una lista. La ventaja es que al no estar forzado a ser rectangular (i.e. que todos los vectores tengan el mismo largo) puedo trabajar con users con un número arbitrario de tweets.

El procesamiento de tokens lo hago con tidytext::, pero podrías adaptarlo a otro workflow.

library(tidyverse)
library(rtweet)
library(tidytext)
library(wordcloud)
usuarios <- c("hadleywickham", "pdalgd", "robtibshirani", "djnavarro") 

tweets <- map_df(usuarios, ~get_timeline(.x, n = 100)) #map_df crea un solo data.frame colapsando la lista, ~función es una abreviatura de function(x) {} con .x como elemento iterado

tweets %>% 
  select(text, screen_name) %>% 
  unnest_tokens(palabra, text, token = "tweets") %>%
#Acá se podrían sacar stopwords
  group_by(screen_name, palabra) %>% 
  tally() %>% 
  top_n(100,  n) %>% 
  split(.$screen_name) %>% 
  map(~wordcloud(.x[["palabra"]], .x[["n"]])) -> lista_nubes

Al final hay una lista nombrada de gráficos. Lamentablemente no encontré como evitar que se impriman los gráficos al mismo tiempo que se crea la lista.

3
  • Muchas Gracias! es exactamente lo que necesitaba, una duda puntual. Si dejo el codigo intermedio de la siguiente forma: bind_rows(lista_tweets) %>% #Paso de lista de data.frames a un solo data.frame select(screen_name, text, source, display_text_width) Me deja un dataframe bastante amigable para trabajar, excepto que necesito hacer nubes de palabras con los tuits, es posible generar nubes para cada usuario de forma mas automática, ya que tenia que ir haciéndolo uno por uno? Nuevamente gracias y perdón por abusar!
    – Edjotace
    el 5 may. 2020 a las 23:46
  • Sí, podrías usar el data.frame intermedio. Si tomas en cuenta que un data.frame es una lista en la que cada columna es un elemento podrías iterar con lapply() usando la función que crea las nubes de palabras. De ese modo tendrías un gráfico por columna. Si usas el data.frame largo (pre pivot) podrías usar ´split()` para cortarlo en una lista y luego iterar. Creo que sería amás eficiente así. Luego edito la respuesta.
    – mpaladino
    el 6 may. 2020 a las 14:39
  • Puse una actualización a la respuesta con un enfoque para crear muchas nubes de palabras.
    – mpaladino
    el 6 may. 2020 a las 20:33

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.