Supongamos que tenemos una cadena de tipo str
(o sea tipo bytes
en Python 3)
>>> cad = "espa\u00F1ol"
Manualmente podemos construir una cadena unicode mediante:
>>> cad = u'espa\u00F1ol'
>>> print cad
español
Para hacer este mismo proceso usando una variable str
de partida podemos usar str.decode
de la siguiente forma:
>>> cad = "espa\u00F1ol"
>>> print type(valor)
<type 'str'>
>>> print cad
espa\u00F1ol
>>> cad_u = cad.decode('unicode-escape') #<<<<<<<<<<<<<
>>> print type(cad_u)
<type 'unicode'>
>>> print cad_u
español
Otra opción para hacer lo mismo es:
cad_u = unicode(cad, 'unicode-escape')
Dependiendo del módulo que uses para manejar la base de datos es posible que puedas modificar esto con anterioridad para que retorne una cadena de tipo unicode de partida.
Voy a intentar esponder a la razonable duda de @fedorqui planteada en el comentario en esta respuesta.
Vamos a partir de la premisa necesaria de que nuestra consola/intérprete/módulo python trabaja con codificación Unicode (si se trata de un módulo, usando # -*- coding: utf-8 -*-
)
Partiendo de lo anterior, en Python 2 al construir una variable str
no es lo mismo hacer:
cad = "1\u20ac es un euro"
que hacer:
cad = '1€ es un euro'
str
no es más que una colección de bytes que son interpretados como caracteres ASCII si es posible. Se corresponde con el tipo bytes
de Python 3. En Python 3, en cambio, str
almacena texto (bytes + codificación) UTF-8.
Cuando introducimos 1\u20ac es un euro
, al estar trabajando en unicode en nuestro archivo/intérprete interactivo la representación real (lo que veríamos si miraramos el raw de nuestro .py) sería (representando cada byte en hexadecimal):
31e282ac20657320756e206575726f
en cambio con 1\u20ac es un euro
lo que el intérprete lee es algo como:
315c753230616320657320756e206575726f
El problema viene a la hora de construir una variable str
y cómo Python almacena internamente esto. Como str
es un array de bytes y nada más, almacena literalmente los bytes que se le pasan entre las comillas. Eso sí, las secuencias de escape que tienen equivalencia ASCII como son \n
, \r
, \t
son correctamente interpretadas pero este no es el caso de '\u'. Al no ser reconocida, se escapa '\' para que sea tratado como un carácter más, como podemos ver con repr
:
>>> print repr('\n')
'\n'
>>> print repr('€')
'\x80'
>>> print repr('\u20ac')
'\\u20ac'
Vemos como en el caso de \n
no se escapa "\" en la representación interna del objeto str
. En el caso de \u
sí que se escapa.
En el caso de la pregunta parece que lo que le retorna la base de datos es una cadena de la forma:
"1\u20ac es un euro"
lo que equivale a decir que le retorna un array de bytes como:
\0x31\0x5c\0x75\0x32\0x30\0x61\0x63\0x20\0x65\0x73\0x20\0x75\0x6e\0x20\0x65\0x75\0x72\0x6f
y lo que quiere es codificar eso a un texto unicode como si hiciera:
cad = u"1\u20ac es un euro"
Podríamos pensar que aplicando cad.decode('UTF-8')
obtendríamos lo que queremos, pero no es así ya que la cadena es representada internamente como "1\\u20ac es un euro"
. Necesitamos especificarle que la secuencia de escape hace referencia a un cáracter unicode y ahí es donde entra str.decode('unicode-escape')
:
>>> cad ='1\u20ac es un euro'
>>> cad = cad.decode('unicode-escape')
>>> print repr(cad)
u'1\u20ac es un euro'
>>>> print(cad)
1€ es un euro
Realmente el manejo de cadenas en Python 2.x es para mi una 🐑 negra del lenguaje. No es nada intuitivo en muchos aspectos y lleva a problemas de codificación absurdos en muchas veces. Este aspecto es mucho más congruente en Python 3 con la redefinición de los tipos bytes y str junto a otros aspectos como el uso de UTF-8 en el código por defecto. De hecho el problema que plantea el OP no se daría en Python 3:
type(cadena)
. Para pasarlo de unicode a string, usastr(cadena)
.print type(o['indice'])
yprint repr(o['indice'])
a ver que obtienes.print type(valor)
yprint repr(valor)
. Estos problemas son simples pero un latazo de encontrar porque nosotros no podemos reproducirlos al carecer de la BD tal y como tu la tienes.