1

tengo una funcion en r que a partir de distintas cadenas de texto las analiza y me devuelve todas la palabras que contienen las distintas cadenas.

data <- searchTwitter(input$select, n=input$numtweets)
data_text <- sapply(data, function(x) x$getText())
data_text<- gsub('http+', '', data_text)
data_text_corpus <- Corpus(VectorSource(data_text))
data_text_corpus <- tm_map(data_text_corpus,
                                     content_transformer(function(x) iconv(x, to='UTF-8', sub='byte'))
)
data_text_corpus <- tm_map(data_text_corpus, removeNumbers)
data_text_corpus <- tm_map(data_text_corpus, content_transformer(tolower))
data_text_corpus <- tm_map(data_text_corpus, removePunctuation)
data_text_corpus <- tm_map(data_text_corpus, function(x)removeWords(x,stopwords(kind = "SMART")))  

el problema es que devuelve strings de caracters no alfanumericos como:

asthma  
â€Ã 
„à   
ÂÃ   
attack  

solo quiero que me devuelve palabras como:

asthma  
attack
2
  • lo he solucionado cambiando: content_transformer(function(x) iconv(x, to='UTF-8', sub='byte')) por content_transformer(function(x) iconv(x, to='ASCII', sub='byte')). pero gracias igaulmente
    – francesc
    Commented el 18 may. 2017 a las 18:53
  • Francesc, puedes publicar la respuesta tú mismo y más tarde aceptar tu propia respuesta como la válida.
    – lois6b
    Commented el 18 may. 2017 a las 20:18

3 respuestas 3

2

Efectivamente la solución de @lois6b es la adecuada, lo que resta es "aplicarla" al data.frame o vector, algo así:

> v <- c('„ÃA', 'AA')
> v[grepl('^[A-Za-z0-9]+$', v)]
[1] "AA"
1
  • gracias por aplicarla haha no tenia ni idea de cómo y sin un entorno de pruebas para toquetear poco iba a descubrir solo hshahah
    – lois6b
    Commented el 19 may. 2017 a las 10:30
1

No conozco pero por lo que he visto buscando por ahi, esta funcion:

grepl('^[A-Za-z0-9]+$', str1)

usa expresiones regulares () para determinar si en el str1 hay o no caracteres alfanumericos. Devuelve true si todos los caracteres lo son, y false en caso contrario.

Explicacion de la regex:

  • ^ -> inicio de la cadena
  • [A-Za-z0-9] -> caracteres de la A-Z (y en minusculas) y 0-9 para numeros
  • + -> 1 o más repeticiones
  • $ -> fin de la cadena

Basado en esta respuesta

0

Al importar, por ejemplo, tweets, puede haber información útil escondida. Un tema previo al mencionado por Patricio es "convertir" el texto:

Sea el siguiente ejemplo:

x <- c('asthma', 'â€Ã', '„Ã', 'ÂÃ', 'attack', 'gro\u00df', 'Ekstrøm', 'Jöreskog', 'bißchen', 'Zürcher')

Se puede intentar no perder información de dos maneras:

x2 <- stringi::stri_trans_general(x, "latin-ascii")
x2

[1] "asthma" "a\u0080A" "a\u0080\u009eA" "AA"
[5] "attack" "gross" "Ekstrom" "Joreskog"
[9] "bisschen" "Zurcher"

Que para este caso funciona para gross, que estaba escrito con un caracter UNICODE y los caracteres suecos los convierte. O este otro:

x3 <- iconv(x,'utf-8','ascii', sub = '')
x3

[1] "asthma" "" "" "" "attack" "gro" "Ekstrm"

[8] "Jreskog" "bichen" "Zrcher"

En donde elimina caracteres de otros idiomas o codificaciones, pero deja los latin1.

Luego se pueden eliminar las cadenas de longitud cero.

El caso es probar, para no perder información.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.