11

En una pregunta que probablemente sea cerrada por la baja calidad de la misma y la falta de interés del usuario, se pegaba el siguiente texto, a todas luces incorrecto porque en lugar de las vocales acentuadas o las eñes aparecían caracteres "extraños":

"ƒsta ser‡ una historia de terror. Ser‡ una historia polic’aca, un relato de serie negra y de terror. Pero no lo parecer‡. No lo parecer‡ porque soy yo la que lo cuenta. Soy yo la que habla y por eso no lo parecer‡. Pero en el fondo es la historia de un crimen atroz. Yo soy la amiga de todos los mexicanos. Podr’a decir: soy la madre de la poes’a mexicana, pero mejor no lo digo. Yo conozco a todos los poetas y todos los poetas me conocen a m’. As’ que podr’a decirlo. Podr’a decir: soy la madre y corre un cŽfiro de la chingada desde hace siglos, pero mejor no lo digo. Podr’a decir, por ejemplo: yo conoc’ a Arturito Belano cuando Žl ten’a diecisiete a–os y era un ni–o t’mido que escrib’a obras de teatro y poes’a y no sab’a beber, pero ser’a de algœn modo una redundancia y a m’ me ense–aron (con un l‡tigo me ense–aron, con una vara de fierro) que las redundancias sobran y que s—lo debe bastar con el argumento. Lo que s’ puedo decir es mi nombre. Me llamo"

Aparentemente el usuario recibió un texto con algún encoding desconocido, lo abrió en un editor que usaba otro encoding (también desconocido) y lo que le mostró ese editor lo copió y lo pegó en la pregunta.

Probablemente su operativo, al margen del encoding que usara su editor, convirtió el texto a Unicode de cara a guardarlo en el portapapeles, y por tanto la versión que finalmente fue pegada en la pregunta es la representación UTF-8 de esos caracteres Unicode.

La pregunta es ¿Cómo podría determinarse el encoding original de los datos? para poder restaurar el texto tal como debería verse.

3
  • Lo primero sería comprobar los números mágicos (Si tiene algúno), posteriormente utilizar su respectiva codificación. Normalmente a esto se le conoce como "adivinar la codificación"
    – NaCl
    Commented el 8 may. 2018 a las 15:43
  • Hola, a simple vista se ven que los caracteres extraños remplazaron letras con acento, por ejemplo "‡" remplazó la "á", y de la misma forma con el resto de caracteres, y se puede obtener el texto original con un poco de observación y un editor de texto como sublime o notepad. Commented el 8 may. 2018 a las 15:44
  • 1
    @NaCl Gracias, pero no es tan sencillo en este caso porque lo único que tenemos es el texto que está "pegado" en la pregunta de StackOverflow, no el fichero original con sus números mágicos. Es decir, no tenemos acceso a la secuencia de bytes original, sino a lo que ha salido tras pasar hipotéticamente por varias transformaciones. En realidad he dado con una respuesta que estaba escribiendo. La pregunta era más que nada para hacer pública esa respuesta, por si a alguien más le sirve.
    – abulafia
    Commented el 8 may. 2018 a las 15:44

1 respuesta 1

17

Mi solución utiliza Python 3 y un poco de trabajo detectivesco. Comenzamos por asignar a una variable el texto copiado de la pregunta:

texto_mal = "ƒsta ser‡ una historia de terror. Ser‡ una historia polic’aca, un relato de serie negra y de terror. Pero no lo parecer‡. No lo parecer‡ porque soy yo la que lo cuenta. Soy yo la que habla y por eso no lo parecer‡. Pero en el fondo es la historia de un crimen atroz. Yo soy la amiga de todos los mexicanos. Podr’a decir: soy la madre de la poes’a mexicana, pero mejor no lo digo. Yo conozco a todos los poetas y todos los poetas me conocen a m’. As’ que podr’a decirlo. Podr’a decir: soy la madre y corre un cŽfiro de la chingada desde hace siglos, pero mejor no lo digo. Podr’a decir, por ejemplo: yo conoc’ a Arturito Belano cuando Žl ten’a diecisiete a–os y era un ni–o t’mido que escrib’a obras de teatro y poes’a y no sab’a beber, pero ser’a de algœn modo una redundancia y a m’ me ense–aron (con un l‡tigo me ense–aron, con una vara de fierro) que las redundancias sobran y que s—lo debe bastar con el argumento. Lo que s’ puedo decir es mi nombre. Me llamo"

Usando Python, existen algunas librerías para autodetección del encoding de una secuencia de bytes, como por ejemplo el módulo chardet. No obstante ese tipo de solución no sirve aquí, porque no tenemos acceso a la secuencia de bytes original, sino al resultado de haber sido pegado el texto en StackOverflow, con una transformación a UTF-8 del resultado.

De hecho, chardet.detect() espera como parámetro una cadena de bytes, pero todo lo que tenemos en este caso es una cadena de caracteres, que habría que pasar a bytes con algo como texto_mal.encode(...), y ahí habría que especificar un encoding, que es parte de lo que queremos descubrir.

¿Qué hacer entonces?

Podemos usar algún heurístico, apoyándonos en el hecho de que el texto está en español y podemos leer mayormente su contenido. De hecho podemos deducir que representa la letra á, representa la í, probablemente ƒ sea la É, etc.

Fijémonos de momento en uno solo de esos caracteres. Podemos reformular entonces la pregunta como:

¿Qué pareja de encodings tienen el signo y el signo á en la misma posición?

Para responderlo, he probado a codificar el símbolo "‡" en todos los encodings posibles soportados por python, para obtener un byte (o secuencia de bytes), que seguidamente pasé a codificar de nuevo con cada uno de los encodings posibles, para ver en cuál de ellos el resultado era una "á" (ignorando todos aquellos que producían error de codificación, claro):

codecs = ['ascii', 'big5', 'big5hkscs', 'cp037', 'cp273', 'cp424', 'cp437', 'cp500', 'cp720', 'cp737', 'cp775', 'cp850', 'cp852', 'cp855', 'cp856', 'cp857', 'cp858', 'cp860', 'cp861', 'cp862', 'cp863', 'cp864', 'cp865', 'cp866', 'cp869', 'cp874', 'cp875', 'cp932', 'cp949', 'cp950', 'cp1006', 'cp1026', 'cp1125', 'cp1140', 'cp1250', 'cp1251', 'cp1252', 'cp1253', 'cp1254', 'cp1255', 'cp1256', 'cp1257', 'cp1258', 'euc_jp', 'euc_jis_2004', 'euc_jisx0213', 'euc_kr', 'gb2312', 'gbk', 'gb18030', 'hz', 'iso2022_jp', 'iso2022_jp_1', 'iso2022_jp_2', 'iso2022_jp_2004', 'iso2022_jp_3', 'iso2022_jp_ext', 'iso2022_kr', 'latin_1', 'iso8859_2', 'iso8859_3', 'iso8859_4', 'iso8859_5', 'iso8859_6', 'iso8859_7', 'iso8859_8', 'iso8859_9', 'iso8859_10', 'iso8859_11', 'iso8859_13', 'iso8859_14', 'iso8859_15', 'iso8859_16', 'johab', 'koi8_r', 'koi8_t', 'koi8_u', 'kz1048', 'mac_cyrillic', 'mac_greek', 'mac_iceland', 'mac_latin2', 'mac_roman', 'mac_turkish', 'ptcp154', 'shift_jis', 'shift_jis_2004', 'shift_jisx0213', 'utf_32', 'utf_32_be', 'utf_32_le', 'utf_16', 'utf_16_be', 'utf_16_le', 'utf_7', 'utf_8', 'utf_8_sig']

for e in codecs:
  for d in codecs:
    try:
      r = "‡".encode(e)
      b = r.decode(d)
    except:
      continue
    if b != 'á':
      continue
    print(e, d)

El resultado fue un conjunto de 44 parejas de encodings, por ejemplo, una de ellas (que elegí por parecerme la más probable) era cp1252 mac_roman.

Esto significa que el usuario (siempre en hipótesis) recibió un archivo de texto que tenía la codificación mac_roman (utilizada en los Mac antiguos), pero la abrió con un editor que usaba la codificación cp1252 (probablemente el bloc de notas de Windows), y por eso vio todos esos caracteres raros. Al copiarlos y pegarlos en Stack Overflow, se recibieron como Unicode ("utf-8"), complicando aún más el problema, pues no es posible entonces ver ya los bytes originales.

Así pues, codificando el texto dado por el usuario con cp1252 y decodificándolo de nuevo con mac_roman, aparece ya legible:

texto = texto_mal.encode("cp1252").decode("mac_roman")
print(texto)

Ésta será una historia de terror. Será una historia policíaca, un relato de serie negra y de terror. Pero no lo parecerá. No lo parecerá porque soy yo la que lo cuenta. Soy yo la que habla y por eso no lo parecerá. Pero en el fondo es la historia de un crimen atroz. Yo soy la amiga de todos los mexicanos. Podría decir: soy la madre de la poesía mexicana, pero mejor no lo digo. Yo conozco a todos los poetas y todos los poetas me conocen a mí. Así que podría decirlo. Podría decir: soy la madre y corre un céfiro de la chingada desde hace siglos, pero mejor no lo digo. Podría decir, por ejemplo: yo conocí a Arturito Belano cuando él tenía diecisiete años y era un niño tímido que escribía obras de teatro y poesía y no sabía beber, pero sería de algún modo una redundancia y a mí me enseñaron (con un látigo me enseñaron, con una vara de fierro) que las redundancias sobran y que sólo debe bastar con el argumento. Lo que sí puedo decir es mi nombre. Me llamo

3
  • 1
    El texto resultante es un poco sombrío, me quito el sombrero :P, ¡Menuda respuesta!
    – NaCl
    Commented el 8 may. 2018 a las 15:48
  • 1
    Para este caso en concreto no creo que hubiera hecho falta realizar todo un script en python, lo acabo de descifrar con el editor sublime, ctrl+f y ctrl+c, pero creo que es un buen ejemplo para entender como descifrar textos mucho mas complicados (como el manuscrito Voynich). saludos Commented el 8 may. 2018 a las 15:54
  • 1
    Wow, un buen trabajo de investigación y de ingeniería inversa.
    – phpMyGuel
    Commented el 30 jul. 2019 a las 15:43

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.