2

Para generar modelos he descargado un dataset con artículos de wikipedia y los he puesto en el formato que me exigía MALLET de Java para usarlos. Al empezar a generar modelos me he dado cuenta que las vocales acentuadas y la ñ, las sistituye por el icono -> "�" . Por lo que al hacer la "limpieza" del texto, las palabras acentuadas y/o con ñ, las desprecia.

Es decir, si tenemos la palabra p�gina después del proceso tendremos dos palabras, p y gina, las cuales carecen de significado.

Para ver la codificación del fichero en cuestión he utilizado el siguiente comando en la terminal de Ubuntu:

$ file -bi wiki_00

text/plain; charset=iso-8859-1

Y usando:

$ echo $LANG
es_ES.UTF-8

Todo el texto está guardado en un txt, ¿alguien sabría como recuperar estas letras?

7
  • La cuestión es que todo esto sucede antes de programar. Es decir, en el proceso de preparar los archivos. La cuestión es que al descargarlos, llegan así a mi pc y querría saber si habría manera de reconvertir esos "?" en la letra en cuestión.
    – Idoia Pico
    el 13 nov. 2020 a las 8:26
  • Cuando haces esa comprobación estás usando un editor de texto (gedit, Visual Studio Code... etc). Intenta comprobar qué codificación está asumiendo tu editor, porque seguramente no sea la correcta. el 13 nov. 2020 a las 8:38
  • Lo hago en la terminal utilizando la expresión less, que es donde aparecen las interrogaciones, si uso less -r , entonces aparecen <ED> para las í, <FA> para las ú...
    – Idoia Pico
    el 13 nov. 2020 a las 8:41
  • Si pones en tu terminal echo $LANG, ¿qué obtienes? el 13 nov. 2020 a las 8:43
  • Obtengo es_ES.UTF-8
    – Idoia Pico
    el 13 nov. 2020 a las 8:45

1 respuesta 1

3

En Ubuntu (o cualquier distro, realmente) puedes probar a transformar de un formato a otro de la siguiente manera:

iconv -f ISO-8859-1 -t UTF-8 Myfile.txt -o resultado.txt
#      ^ \________/  ^ \___/ \________/  ^ \___________/
#      |     |       |   |       |       |     |
#    from    |       to  |       |       |   Fichero salida
#            |           |       |       |   
#    formato de entrada  |    fichero    |
#                        |               |   
#                 formato de salida     output

Los parámetros -f ISO-8859-1 son opcionales, dejando a iconv la responsabilidad de averiguar el formato de origen.

Nota: El fichero de salida ha de ser distinto del de entrada o borrará anticipadamente el fichero de entrada y no funcionará

3
  • Si no utilizo -f y el formato de entrada me devuelve el error: Exitus es un ticonv: secuencia de entrada ilegal en la posición 119 En cambio si utilizo el comando completo me devuelve el archivo con todas las letras acentuadas las ñ etc, pero el archivo original sigue siendo el mismo. Para añadir esos cambios al archivo original, debo añadir algún parámetro más? Gracias!
    – Idoia Pico
    el 13 nov. 2020 a las 9:16
  • Respuesta actualizada el 13 nov. 2020 a las 9:24
  • Ahora si, gracias!!
    – Idoia Pico
    el 13 nov. 2020 a las 9:32

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.