La secuencia \u en javascript (y JSON)
Esos "caracteres raros" no son un error. Son la forma en que JSON decide representar los caracteres no-ascii de forma que no dependan del encoding.
Me explico, tomando como ejemplo el caso "España"
. El carácter "ñ"
no es parte del ASCII por tanto a la hora de introducirlo en una cadena JSON tenemos dos opciones:
- Elegir un encoding que sí tenga el carácter
"ñ"
. Este encóding típicamente será UTF-8 y por tanto Unicode. En Unicode la "ñ"
tiene el código U+00F1, pero al codificarlo en UTF-8 en el que la unidad básica es el byte, ocupará dos bytes de valores C3 y B1 (hexadecimal). Quien lea esta cadena de caracteres debe saber que el encoding elegido ha sido UTF-8, para poder "reunir" esos dos bytes de nuevo en un sólo caracter (U+00F1) y así obtener la "ñ"
. Si supone en cambio un encoding como latin1 en que cada byte es un sólo carácter, lo decodificaría errónamente como dos caracteres: "ñ"
- Elegir representarlo como una secuencia ASCII, que comienza por el carácter de escape
\
. Este carácter se usa para múltiples cometidos, para poder meter en una cadena caracteres que de otra forma no serían visibles o causarían confusión. El caso más típico es \n
para la nueva-línea, pero tenemos también \r
para el retorno de carro, \b
para el "pitido", \t
para el tabulador, etc... Y el que nos ocupa, \u
para un carácter unicode. Este debe ir seguido de cuatro dígitos hexadecimales que codifiquen el carácter en cuestión. En nuestro caso por tanto la secuencia de seis caracteres: \u00f1
representa uno solo: la eñe.
El segundo caso es preferible porque no ha usado ningún encoding para almacenar el carácter Unicode, sino que simplemente lo ha representado mediante otra secuencia ASCII. Es como si en HTML hubieses puesto ñ
, que es también una secuencia ASCII que el navegador mostrará como ñ
.
El que un texto JSON contenga "Espa\u00f1a"
no es por tanto ningún problema. Contiene la cadena correcta. Y si un programa JavaScript trata de mostrarla, se verá correctamente la eñe, como puedes comprobar aquí:
console.log("Espa\u00f1a");
La secuencia \u en python2
Esta secuencia para python2 no tiene significado especial. Si en python una cadena contiene \u00f1
, será mostrado tal cual, como seis caracteres literales:
>>> print("Espa\u00f1a")
Espa\u00f1a
Pero si se trata de una cadena unicode (que lleva una u
delante de las comillas de apertura), entonces sí es reconocido y tratado:
>>> print(u"Espa\u00f1a")
España
aunque la forma más habitual en python no es \u00f1
sino \xf1
, que también es reconocida:
>>> print(u"Espa\xf1a")
España
No obstante cuidado, cualquiera de estas dos formas guarda dentro de la cadena el carácter Unicode que representa la ñ, y no la secuencia de caracteres \u00f1
ni \xf1
. Estas secuencias son procesadas y convertidas al correspondiente carácter. Si quisiéramos guardar esas secuencias en particular, habría que escapar el \
con otro \
, para evitar que fuera procesado (y eso guardará en la cadena un único \
). Así:
>>> print(u"Espa\\u00f1a")
Espa\u00f1a
La diferencia entre poner una sola \
o poner dos, es que en el segundo caso el texto resultante no contiene ya ninguna eñe, sino simplemente una secuencia ASCII (de la que forman parte los caracteres \
, u
, 0
etc entre otros). Esto se entiende mejor si miras la longitud de estas cadenas:
>>> print(len(u"Espa\u00f1a"), len(u"Espa\\u00f1a"))
(6, 11)
JSON y python
Y finalmente llegamos al meollo. Tenemos en JSON una cadena que contiene \u00f1
que, como hemos visto, es un carácter legal en JSON, y queremos leerla en python. Por ejemplo, hemos leido de un archivo (o de un socket, lo mismo da) la cadena que tenemos guardada en line
, y que es la siguiente:
>>> print(line)
{ "country" : "Espa\u00f1a" }
En python 2 la lectura de un archivo (o de un socket) produce un str
, que es una cadena de bytes, en lugar de una cadena Unicode. Podemos tratar de convertirlo a Unicode, para lo cual generalmente habría que conocer el encoding del archivo del cual se ha leido. Pero en este caso, por lo antes dicho, el encoding es irrelevante, pues se ha elegido representar la eñe como secuencia ASCII \uXXXX
. Por tanto lo siguiente deberá funcionar sin errores:
>>> print(unicode(line))
{ "country" : "Espa\u00f1a" }
Como ves, errores no ha habido, pero tampoco parece que haya funcionado. En realidad sí que ha funcionado (la cadena mostrada ya no es de tipo str
sino de tipo unicode
), pero el carácter \u00f1
no se ha mostrado como esperábamos.
Esto se debe a que lo que tenemos sería el equivalente de haber introducido con \\u
el texto en Python, pues la cadena que tenemos tiene literalmente un \
y no un caracter unicode.
Esta última parte puede ser difícil de comprender, pero en realidad no tiene mayor relevancia, ya que lo primero que harás tras recibir una cadena JSON es decodificarla mediante json.loads()
y este método ya se ocupa de detectar la secuencia \u
y convertirla al correspondiente carácter python:
>>> jsonLine = json.loads(line)
>>> print(jsonLine["country"])
España
Por tanto funciona.
¿Por qué piensas que no te funciona?
Quizás en lugar de imprimir una cadena (como en el ejemplo anterior) estás imprimiendo una estructura de datos, como por ejemplo la variable jsonLine
resultante. Si haces esto sí que verás aparentemente cosas raras:
>>> print(jsonLine)
{u'country': u'Espa\xf1a'}
Esto se debe a que cuando imprimes un diccionario o una lista, Python te muestra la representación de los datos que la componen. Aquí podemos ver por ejemplo que, tanto la clave como el valor son cadenas Unicode (llevan una u
delante de las comillas). Y dentro de esas cadenas los caracteres no-ascii se están mostrando en su "representación python" (\xf1
). Pero esto es sólo la forma en que se muestra. Internamente \xf1
es una ñ
Unicode, y así se mostrará tan pronto como quieras imprimir esa cadena.
También puede ser que en lugar de imprimir la cadena desde python, estés convirtiendo de nuevo a JSON tus resultados. En ese caso el codificador json.dumps()
volverá a codificar cada carácter no ASCII a la forma estándar JSON que es \uXXXX
:
>>> print(json.dumps(jsonLine))
{"country": "Espa\u00f1a"}
pero de nuevo no hay error aquí. Es el comportamiento correcto. El JSON así generado es ASCII puro, no depende de encodings, y cuando un cliente JavaScript lo consuma e intente visualizarlo, se verá correctamente "España"
, mira:
data = "{\"country\": \"Espa\\u00f1a\"}"
parsed = JSON.parse(data)
console.log(parsed)