Para generar modelos he descargado un dataset con artículos de wikipedia y los he puesto en el formato que me exigía MALLET de Java para usarlos. Al empezar a generar modelos me he dado cuenta que las vocales acentuadas y la ñ, las sistituye por el icono -> "�"
.
Por lo que al hacer la "limpieza" del texto, las palabras acentuadas y/o con ñ, las desprecia.
Es decir, si tenemos la palabra p�gina
después del proceso tendremos dos palabras
, p
y gina
, las cuales carecen de significado.
Para ver la codificación del fichero en cuestión he utilizado el siguiente comando en la terminal de Ubuntu:
$ file -bi wiki_00
text/plain; charset=iso-8859-1
Y usando:
$ echo $LANG
es_ES.UTF-8
Todo el texto está guardado en un txt, ¿alguien sabría como recuperar estas letras?
echo $LANG
, ¿qué obtienes?es_ES.UTF-8