0

Estoy intentando obtener el contenido HTML de un sitio web en concreto mediante Pandoc, con el comando siguiente:

pandoc -s -r html https://hjg.com.ar/catena/c757.html -o c757.html

Yo he usado ese mismo comando en otros sitios webs obteniendo sin problema el contenido en un archivo local. Pero en este caso concreto no funciona, estoy teniendo el error:

pandoc: Cannot decode byte '\xfa': Data.Text.Internal.Encoding.Fusion.streamUtf8: Invalid UTF-8 stream

También he intentado usar iconv como sugiere la documentación, con algo así:

iconv -t utf-8 | pandoc -s -r html https://hjg.com.ar/catena/c757.html -o c757.html | iconv -f utf-8

Y, viendo que esa página web está codificada en iso-8859-1 intento algo así:

iconv -t iso-8859-1 | pandoc -s -r html https://hjg.com.ar/catena/c757.html -o c757.html | iconv -f utf-8

En ningún caso me funciona, obtengo siempre el mismo error.

Entorno

  • SO: Ubuntu 18.04
  • Pandoc: 1.19.2.4

Usando Pandoc desde la terminal

1 respuesta 1

0

Parece que es pandoc el que no reconoce el caracter \xfa (ú) y no hay posibilidad de realizar la conversión. Estuve buscando las opciones disponibles, pero pandoc puede trabajar solo desde la entrada estándar (stdin) o un archivo (local o remoto), por lo que se me ocurre que primero tienes que descargar el archivo con wget, codificarlo con iconv y, si es necesaria alguna conversión, entonces sí usar pandoc.

# Descargar archivo y guardar, -O mayúscula para guardar
wget -O c757.html https://hjg.com.ar/catena/c757.html
# Codificar, especificando codificación de origen y guardando en otro archivo
iconv -f ISO-8859-1 -t UTF-8 c757.html -o c757-utf.html
# ¿Necesitas convertir a otro formato?
# Ya puedes usar pandoc sobre el archivo local

Después de probar en la terminal desde CentOs 7.9 (no debería haber diferencia con Ubuntu):

  • Especificar la opción -O (con mayúscula) para guardar el archivo en un solo paso
  • iconv funciona correctamente cuando se especifica la codificación original -f ISO-8859-1 y se guarda en otro archivo -o nombre-archivo

Después de descargar y convertir prueba los comandos file c757.html y file c757-utf.html:

c757.html: HTML document, ISO-8859 text, with very long lines
c757-utf.html: HTML document, UTF-8 Unicode text, with very long lines

2
  • Agradezco tu respuesta. El archivo se carga con wget pero en dos tiempos, no sé por qué: primero me crea un archivo .html con el resultado de la ejecución del comando: Resolviendo ... Conectado ... OK, etc y luego me crea un archivo c757.html.1 con el contenido. ¿Hay alguna forma de evitar que se creen dos archivos? Luego, el archivo trae el carácter inspector en lugar de los acentos, supongo que por el mismo problema de la codificación y al intentar iconv me da el siguiente error: secuencia de entrada ilegal en la posición 2014
    – A. Cedano
    Commented el 29 abr. 2021 a las 11:12
  • @A.Cedano, actualicé la respuesta con base en pruebas reales.
    – Triby
    Commented el 29 abr. 2021 a las 14:27

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.