Tras una larga sesión de "depuración a través del chat" llegué a diagnosticar el problema y darle una solución. Dejaré aquí documentado el resultado, si bien dudo que pueda ser de utilidad a nadie más al tratarse de un problema muy particular de este usuario y difícil de extrapolar a otros casos.
Problema
El problema había sido simplificado por el usuario (pues el problema real involucraba leer de una base de datos para escribir en otra, y la información leida estaba en un formato binario del cual debían ser extraidos con heurísticos la información relevante que era el mensaje de texto, en árabe o en otros alfabetos).
El usuario pensó que ya que el problema aparecía en la codificación de estos mensajes, la pregunta podría centrarse en este punto sólo y cambiar las bases de datos por ficheros para simplificar.
El problema es que algunos de los detalles omitidos sí eran relevantes. Básicamente el problema se originaba debido a que lo que se leía de la base de datos no eran sólo mensajes de texto. En ocasiones venían también mensajes codificados en binario que no eran texto, sino estructuras de datos.
El usuario pretendía guardar tanto uno como otro en otra base de datos MongoDB. Y el problema era que algunos de los mensajes fallaban al ser enviados a MongoDB porque éste sólo acepta texto ascii o utf8, mientras que los mensajes con estructuras binarias no contenían texto válido.
Ante este problema, el usuario probó a codificar con distintos encodings hasta encontrar uno que dejara de darle errores en estos datos binarios. Pero claro, la consecuencia fue que dejaban de guardarse correctamente los datos de texto.
Solución
Cuando se leen los datos de la base de datos original, hay que detectar si el mensaje es de texto o es otra estructura binaria. Los de texto pueden enviarse a MongoDB sin modificaciones (pues serán UTF-8 válido, ya sea en árabe o en el alfabeto que sea). Los que son datos binarios deberán ser convertidos por ejemplo a base64
para que MongoDB pueda almacenarlos.
El usuario posiblemente tendrá más información para decidir si lo que se lee de la BBDD es mensaje o no, pero un heurístico simple podría ser tratar de decodificarlo como UTF-8. Si no se logra, se asume que es binario:
msg = obtener_mensaje_de_base_de_datos(query)
try:
txt = msg.decode("utf-8")
except:
# No es texto. Recodificarlo como base64 por ejemplo
txt = base64.b64encode(msg)
A partir de ahi, txt
puede ser enviado a MongoDB.
print(variable)
te muestraHola, me llamo العربية
correctamente? ¿Es tu variable una cadena unicode ostr
(print(type(variable))
)? ¿Cómo realizas la escritura de la misma en el fichero fichero?str
la escritura la realizo mediante un file.write()