3

he mirado en mil sitios diferentes, post de stackoverflow, blogs, etc y no encuentro una solución para mi situación.

Tengo una base de datos donde almaceno este mensaje:

"Hola, me llamo العربية" y se almacena como utf-8:

"\x48\x6F\x6C\x61\x2C\x20\x6D\x65\x20\x6C\x6C\x61\x6D\x6F\x20\xD8\xA7\xD9\x84\xD8\xB9\xD8\xB1\xD8\xA8\xD9\x8A\xD8\xA9"

Quiero poder almacenar ese valor en una variable y que se muestren las letras tal y como las escribí, por ahora me muestra algo así:

"Hola, me llamo اÙعربÙØ©"

He probado a hacer encode y decode con todas las codificaciones que conozco, pero nada...

Si hago un print, me muestra correctamente el texto, pero si intento almacenar esa variable en algún fichero externo, se almacena con los caracteres "extraños".

¿Alguien tiene alguna forma de guiarme a la solución?

Muchas gracias

--------------- edito -------------

Si en vez de almacenar la variable en el fichero, almaceno directamente el texto, se muestra correctamente, por lo que no es un problema de la codificación del fichero destino.

5
  • ¿Si haces print(variable) te muestra Hola, me llamo العربية correctamente? ¿Es tu variable una cadena unicode o str (print(type(variable)))? ¿Cómo realizas la escritura de la misma en el fichero fichero?
    – FJSevilla
    Commented el 1 ago. 2018 a las 10:43
  • 1
    Si hago print, me muestra correctamente las letras correctamente. el print del tipo me devuelte str la escritura la realizo mediante un file.write()
    – XBoss
    Commented el 1 ago. 2018 a las 10:49
  • Por el tag de la pregunta, veo que usas python2. ¿En qué operativo? Cuando dices que print te lo muestra bien ¿dónde lo ves? ¿en una terminal? Cuando luego dices que se ve mal, entiendo que es que abres el fichero ¿dónde lo abres? ¿Un editor o lo vuelcas a la misma terminal donde print se veía bien?
    – abulafia
    Commented el 1 ago. 2018 a las 10:53
  • En realidad necesito bastantes aclaraciones para ayudarte, puede que sea mejor hacerlo via chat, en esta habitación
    – abulafia
    Commented el 1 ago. 2018 a las 11:07
  • 1
    @abulafia estoy en el chat
    – XBoss
    Commented el 1 ago. 2018 a las 11:37

2 respuestas 2

3

Tras una larga sesión de "depuración a través del chat" llegué a diagnosticar el problema y darle una solución. Dejaré aquí documentado el resultado, si bien dudo que pueda ser de utilidad a nadie más al tratarse de un problema muy particular de este usuario y difícil de extrapolar a otros casos.

Problema

El problema había sido simplificado por el usuario (pues el problema real involucraba leer de una base de datos para escribir en otra, y la información leida estaba en un formato binario del cual debían ser extraidos con heurísticos la información relevante que era el mensaje de texto, en árabe o en otros alfabetos).

El usuario pensó que ya que el problema aparecía en la codificación de estos mensajes, la pregunta podría centrarse en este punto sólo y cambiar las bases de datos por ficheros para simplificar.

El problema es que algunos de los detalles omitidos sí eran relevantes. Básicamente el problema se originaba debido a que lo que se leía de la base de datos no eran sólo mensajes de texto. En ocasiones venían también mensajes codificados en binario que no eran texto, sino estructuras de datos.

El usuario pretendía guardar tanto uno como otro en otra base de datos MongoDB. Y el problema era que algunos de los mensajes fallaban al ser enviados a MongoDB porque éste sólo acepta texto ascii o utf8, mientras que los mensajes con estructuras binarias no contenían texto válido.

Ante este problema, el usuario probó a codificar con distintos encodings hasta encontrar uno que dejara de darle errores en estos datos binarios. Pero claro, la consecuencia fue que dejaban de guardarse correctamente los datos de texto.

Solución

Cuando se leen los datos de la base de datos original, hay que detectar si el mensaje es de texto o es otra estructura binaria. Los de texto pueden enviarse a MongoDB sin modificaciones (pues serán UTF-8 válido, ya sea en árabe o en el alfabeto que sea). Los que son datos binarios deberán ser convertidos por ejemplo a base64 para que MongoDB pueda almacenarlos.

El usuario posiblemente tendrá más información para decidir si lo que se lee de la BBDD es mensaje o no, pero un heurístico simple podría ser tratar de decodificarlo como UTF-8. Si no se logra, se asume que es binario:

msg = obtener_mensaje_de_base_de_datos(query)
try:
    txt = msg.decode("utf-8")
except:
    # No es texto. Recodificarlo como base64 por ejemplo
    txt = base64.b64encode(msg)

A partir de ahi, txt puede ser enviado a MongoDB.

2

Los supuestos valores de los caracteres árabes se me hacen sospechosamente bajos: dos caracteres hexadecimales significa que son números menores a 256, luego son carateres ASCII (un byte).

Sé que tu problema es con Python pero, manteniendo la codificación, en cualquier lenguaje deberíamos tener resultados similares, así que usaré con Javascript por la inmediatez de los resultados para mostrarte lo que tienes en la base de datos:

He quitado la parte , me llamo para simplificar, los textos son "Hola " + <parte problemática>:

let textoHex="\x48\x6F\x6C\x61\x20\xD8\xA7\xD9\x84\xD8\xB9\xD8\xB1\xD8\xA8\xD9\x8A\xD8\xA9";

console.log(textoHex)

let textoPlano="Hola العربية";

console.log(textoPlano);

let hex='';

for (let i=0;i<textoPlano.length;i++) {
  hex+='\\x'+textoPlano.charCodeAt(i).toString(16).toUpperCase();
}

console.log(hex);

Puedes ver que los caracteres árabes no coinciden, los números Unicode son totalmente distintos (mucho más altos, todos son \x6__), así que me temo que lo que estás guardando en la base de datos es incorrecto. Por algún paso intermedio se transforman los valores a otro formato.

1
  • 1
    Sí, son esos los caracteres que me aparecen: اÙعربÙØ© pero puse los otros poque no tenía el mensaje delante y suspuse que no importaría, ahora veo que sí, actualizo la pregunta.
    – XBoss
    Commented el 1 ago. 2018 a las 12:35

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.