5

En Python 2.6 estoy realizando un proceso en el que obtengo unos valores de una base de datos y los necesito codificados en UTF-8. El código es equivalente al siguiente:

import json

valor = "CERDE\u00c3\u0091A"     #valor se obtiene de una BD
dict = {"indice": valor}
s = json.dumps(dict)
o = json.loads(s)
print o['indice'].encode('utf-8')

y el resultado que me muestra es:

CERDE\u00c3\u0091A

Manualmente transformo valor en:

valor = u"CERDE\u00c3\u0091A"

De manera que sí que se realiza la transformación a utf-8.

Me gustaría saber si existe una forma automática de indicar que es unicode y poder transformar los datos. Según tengo entendido str.decode() genera un string UNICODE, dado que yo ya tengo un string UNICODE realizo el encode('utf-8') pero el resultado sigue siendo unicode.

Gracias,

7
  • No acabo de entender el porqué de indicar que es unicode. ¿Cuál es tu objetivo final con esta cadena? ¿Quieres pasarlo a unicode? Para saber qué es, usa type(cadena). Para pasarlo de unicode a string, usa str(cadena).
    – fedorqui
    Commented el 10 may. 2017 a las 9:38
  • Cuando accedo a mis datos me retorna esto: CERDE\u00c3\u0091A, que no lo entiende como un unicode. Lo entiende un string, por lo tanto será un ISO o UTF8. Mi intención es poder identificar esto como un unicode, al igual que se hace manualmente introduciendo la u en u"CERDE\u00c3\u0091A"
    – Rinsky
    Commented el 10 may. 2017 a las 10:11
  • Haz print type(o['indice']) y print repr(o['indice']) a ver que obtienes.
    – FJSevilla
    Commented el 10 may. 2017 a las 10:22
  • @FJSevilla he obtenido: <type 'str'> y "NOMBRE_INDICE": "CERDE\\u00c3\\u0091A, 350 " por lo que veo a la hora de guardarlo se guardó el código Unicode como string, no?
    – Rinsky
    Commented el 10 may. 2017 a las 10:51
  • Ufff, vale vamos a ir para atrás, haz lo mismo pero con el valor nada más obtenido de la base de datos, antes de crear el diccionario y el json: print type(valor) y print repr(valor). Estos problemas son simples pero un latazo de encontrar porque nosotros no podemos reproducirlos al carecer de la BD tal y como tu la tienes.
    – FJSevilla
    Commented el 10 may. 2017 a las 11:08

3 respuestas 3

5

Supongamos que tenemos una cadena de tipo str (o sea tipo bytes en Python 3)

>>> cad = "espa\u00F1ol" 

Manualmente podemos construir una cadena unicode mediante:

>>> cad = u'espa\u00F1ol'
>>> print cad
español

Para hacer este mismo proceso usando una variable str de partida podemos usar str.decode de la siguiente forma:

>>> cad = "espa\u00F1ol"
>>> print type(valor)
<type 'str'>
>>> print cad
espa\u00F1ol
>>> cad_u = cad.decode('unicode-escape') #<<<<<<<<<<<<<
>>> print type(cad_u)
<type 'unicode'>
>>> print cad_u
español

Otra opción para hacer lo mismo es:

cad_u = unicode(cad, 'unicode-escape')

Dependiendo del módulo que uses para manejar la base de datos es posible que puedas modificar esto con anterioridad para que retorne una cadena de tipo unicode de partida.


Voy a intentar esponder a la razonable duda de @fedorqui planteada en el comentario en esta respuesta.

Vamos a partir de la premisa necesaria de que nuestra consola/intérprete/módulo python trabaja con codificación Unicode (si se trata de un módulo, usando # -*- coding: utf-8 -*-)

Partiendo de lo anterior, en Python 2 al construir una variable str no es lo mismo hacer:

cad = "1\u20ac es un euro"

que hacer:

cad = '1€ es un euro'

str no es más que una colección de bytes que son interpretados como caracteres ASCII si es posible. Se corresponde con el tipo bytes de Python 3. En Python 3, en cambio, str almacena texto (bytes + codificación) UTF-8.

Cuando introducimos 1\u20ac es un euro, al estar trabajando en unicode en nuestro archivo/intérprete interactivo la representación real (lo que veríamos si miraramos el raw de nuestro .py) sería (representando cada byte en hexadecimal):

31e282ac20657320756e206575726f

en cambio con 1\u20ac es un euro lo que el intérprete lee es algo como:

315c753230616320657320756e206575726f

El problema viene a la hora de construir una variable str y cómo Python almacena internamente esto. Como str es un array de bytes y nada más, almacena literalmente los bytes que se le pasan entre las comillas. Eso sí, las secuencias de escape que tienen equivalencia ASCII como son \n, \r, \t son correctamente interpretadas pero este no es el caso de '\u'. Al no ser reconocida, se escapa '\' para que sea tratado como un carácter más, como podemos ver con repr:

>>> print repr('\n')
'\n'
>>> print repr('€')
'\x80'
>>> print repr('\u20ac')
'\\u20ac'

Vemos como en el caso de \n no se escapa "\" en la representación interna del objeto str. En el caso de \u sí que se escapa.

En el caso de la pregunta parece que lo que le retorna la base de datos es una cadena de la forma:

"1\u20ac es un euro"

lo que equivale a decir que le retorna un array de bytes como:

\0x31\0x5c\0x75\0x32\0x30\0x61\0x63\0x20\0x65\0x73\0x20\0x75\0x6e\0x20\0x65\0x75\0x72\0x6f

y lo que quiere es codificar eso a un texto unicode como si hiciera:

cad = u"1\u20ac es un euro"

Podríamos pensar que aplicando cad.decode('UTF-8') obtendríamos lo que queremos, pero no es así ya que la cadena es representada internamente como "1\\u20ac es un euro". Necesitamos especificarle que la secuencia de escape hace referencia a un cáracter unicode y ahí es donde entra str.decode('unicode-escape'):

>>> cad ='1\u20ac es un euro'
>>> cad = cad.decode('unicode-escape')
>>> print repr(cad)
u'1\u20ac es un euro'
>>>> print(cad)
1€ es un euro

Realmente el manejo de cadenas en Python 2.x es para mi una 🐑 negra del lenguaje. No es nada intuitivo en muchos aspectos y lleva a problemas de codificación absurdos en muchas veces. Este aspecto es mucho más congruente en Python 3 con la redefinición de los tipos bytes y str junto a otros aspectos como el uso de UTF-8 en el código por defecto. De hecho el problema que plantea el OP no se daría en Python 3:

  • Python 2.x:

    >>> cad ='1\u20ac es un euro'
    >>> print cad
    1\u20ac es un euro
    
  • Python 3.x:

    >>> cad ='1\u20ac es un euro'
    >>> print(cad)
    1€ es un euro
    
4
  • Gracias FJSevilla! Después si que puedo codificar sin problemas a UTF-8!
    – Rinsky
    Commented el 10 may. 2017 a las 12:11
  • Solo por aprender: ¿cuál es la diferencia con respecto a lo que yo propuse?
    – fedorqui
    Commented el 10 may. 2017 a las 12:49
  • @fedorqui he editado la respuesta intentado responder a tu duda, digo "he intentado" porque no se si habré conseguido algo, a veces explicar lo que me parece simple se me da fatal :)
    – FJSevilla
    Commented el 10 may. 2017 a las 17:05
  • Fantástico, FJSevilla, muchísimas gracias por la explicación. El tema de la codificación siempre me genera dolores de cabeza y creo que aquí he visto un poco de luz finalmente :-)
    – fedorqui
    Commented el 11 may. 2017 a las 8:12
2

Solución fácil

from __future__ import unicode_literals

Es importante que este en la primera línea de código, entonces obtendrás directamente el resultado deseado.

Solo meter este import en el caso de generar el String. Si lo envías por parámetro será un String normal i no funcionara.

Creo que es delicado, porque donde deberás poner esta cabezalera será donde haces import. I puede que deje de compilar con esta nueva línea.

value = "CERDE\u00c3\u0091A" # provenga de quien tenga el import

Mala solución

valor = "CERDE\u00c3\u0091A"
valor = valor.replace ("\u00c3", u"\u00c3")
valor = valor.replace ("\u0091", u"\u0091")

I obtendras la salida deseada

Cambiar

Debido a estos tipos de problemas, python2 se transformo en python3. En python3 no tendrás este problema. Lo hace automáticamente.

2
  • Gracias! Lo tendré en cuenta porque las codificaciones me están volviendo loco...
    – Rinsky
    Commented el 10 may. 2017 a las 12:32
  • 1
    @DavidNavarro efectivamente from __future__ import unicode_literals hace que las cadenas sean tratadas como se hace en Python 3, son cadenas UTF-8 por defecto si son creadas dentro del módulo donde se produce el import. Si no tienes ningún impedimento de fureza mayor por incopatibilidad de módulos/sistema pasate a Python 3 como te recomienda, el manejo de cadenas en Python 2.x es poco pythónico para mi gusto y termina desesperando a veces si te ves oblidado a trabajar con algo que no sea inglés...
    – FJSevilla
    Commented el 10 may. 2017 a las 17:13
1

Escribo una respuesta para que nos entendamos mejor. En los comentarios se hace complicado.

Supongamos que creas una cadena de esta forma:

>>> s = '1€ es un euro'
>>> s
'1\xe2\x82\xac es un euro'
>>> type(s)
str

Como ves, contiene caracteres del tipo \xe para designar algo raro como es el símbolo de euro . Esta variable es de tipo string.

Decidimos convertirla a Unicode, utilizando la función decode() que tú mencionas. Lo hacemos designando la salida de decode() a otra variable, puesto que es una función que devuelve un valor, no cambia el valor de la variable sobre la que se aplica:

>>> en_unicode = s.decode('utf-8')
>>> en_unicode
u'1\u20ac es un euro'
>>> type(en_unicode)
unicode

type() nos indica el tipo de la variable, que es Unicode.

Vale, y ahora supongamos que queremos volver a la cadena original. Pues con .encode() lo tenemos:

>>> en_unicode.encode('utf-8')
'1\xe2\x82\xac es un euro'
>>> type(en_unicode.encode('utf-8'))
str

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.