Una cosa es el contenido del texto del archivo o módulo a ser ejecutado por el intérprete de Python, y otra es el formato en memoria de las cadena (strings) usadas al ejecutar del código.
Contenido del archivo
Cuando se escribe un módulo, archivo o script en Python, en el editor de texto se especifica qué tipo de codificación desea ser usada al guardar el archivo. De este modo, en el disco duro se guarda ese archivo con un tipo de codificación en concreto (ascii, utf-8, utf-16, etc). El intérprete de Python, al ejecutar dicho módulo tiene que leer el archivo y por lo tanto tiene que conocer qué tipo de codificación fue usada para guardarlo, porque en caso contrario no podría decodificar correctamente el contenido del archivo.
Python 2 por defecto decodifica los archivos como ascii, y Python 3 los decodifica por defecto como utf-8. La manera de asegurar siempre que el intérprete de Python lea correctamente el contenido del módulo es informando explícitamente mediante la directiva coding
qué tipo de codificación fue usada por el editor de texto para guardar ese archivo. De esta manera, aunque la configuración por defecto del intérprete de Python 2 o 3 cambie, nunca dará problemas.
Resumiendo, indicar siempre en la primera o segunda línea del archivo fuente la directiva #coding=X
, donde X es la codificación que fue usada por el editor de texto para guardar el archivo.
Formato de cadenas
Por otro lado, están las cadenas de caracteres str
usadas en memoria durante la ejecución de un programa en Python. Estas cadenas se pueden guardar en memoria como dos tipos principales: byte o unicode.
Las cadenas tipo byte: son simplemente secuencias de valores de 8 bits, por lo tanto no se puede guardar en este formato ningún carácter cuyo punto de código esté fuera de los primeros 256 valores (tabla ASCII extendida). También se puede guardar un carácter indicando explícitamente su valor de punto de código mediante la secuencia de escape '\xNN'
, donde NN
representan un valor en hexadecimal dentro del rango 0-255.
Este tipo de cadenas son las utilizadas por defecto en Python 2, mientras que en Python 3 para poder ser utilizadas se tiene que indicar expícitamente el prefijo b
antes del literal que representa la cadena.
Las cadenas tipo unicode: permiten la representación de cualquier carácter existente. Para ello, existen una serie de tablas de valores unicode, divididas por planos, con la asociación de cada carácter a su respectivo punto de código o valor. El plano unicode más utilizado es el primer plano (plano básico multilingüe), el cual necesita hasta 16 bits por carácter y puede representar hasta 65535 caracteres (incluido el español). Para poder usar el resto de planos se necesitarían como máximo 24 bits por carácter pero, como en memoria se usan espacios de 8, 16 o 32 bits, es inevitable utilizar 32 bits para caracteres cuyo punto de código es mayor de 16 bits, desperdiciando 8 bits.
La manera de representar valores de punto de código unicode en una cadena de caracteres es mediante '\uNNNN'
(N es hexadecimal) para puntos de código entre 8 y 16 bits, y '\U0010NNNN'
para puntos de código entre 16 y 24 bits (ocupando este último en memoria 32 bits).
En Python 3 las cadenas se guardan por defecto en formato unicode, mientras que en Python 2 es necesario indicar el prefijo u
antes del literal representando la cadena.
En el momento de compilar una implementación del intérprete Python, ésta se puede configurar para fijar el máximo rango de caracteres unicode que puede manejar. Para ello existe un parámetro de configuración --enable-unicode
cuyos valores pueden ser latin-1
, ucs2
y ucs4
.
latin-1
: las cadenas unicode sólo podrán guardar en memoria 8 bits por carácter, es decir, la tabla ASCII extendida.
ucs2
: las cadenas unicode sólo podrán guardar en memoria 16 bits por carácter, es decir, el primer plano unicode o plano básico multilingüe.
ucs4
: las cadenas unicode podrán guardar en memoria hasta 32 bits por carácter, es decir, todo el espectro posible de caracteres (aunque los caracteres que necesiten más de 16 bits desperdiciarán 8 bits ya que no existen puntos de código unicode mayores de 24 bits).
¿Qué ocurre si guardamos en memoria una cadena unicode mezclando caracteres que se pueden representar en 8 bits, 16 bits o 32 bits? Pues que Python fija el tamaño de cada carácter al máximo tamaño de entre todos los caracteres de la cadena. Por lo tanto, si un solo carácter necesita 32 bits para poder guardar su punto de código, el resto de caracteres usarán 32 bits aunque no necesiten más de 8. Esto se debe a que Python no usa ningún tipo de codificación (utf-8, utf-16, etc) para representar las cadenas unicode en memoria, sino simplemente guarda el valor del punto de código asociado a cada carácter. De este modo, como no puede saber qué tamaño se usó para guardar cada carácter, simplifica fijando todos a un solo tamaño.
Es importante recalcar que la manera como se guardan las cadenas unicode en memoria no tienen nada que ver con los tipos de codificación (utf-8, utf-16, etc). Los tipos de codificación (utf para el formato unicode) son una forma de serializar el contenido del archivo para manejarlo mucho mejor posteriormente: guardar en disco duro, enviar por la red, etc. Las cadenas con formato unicode durante la ejecución del programa se guardan en memoria como secuencias de puntos de código y nunca se guardan codificadas como, por ejemplo, utf-8 (a no ser que voluntariamente se guarde una cadena no como unicode, sino como una secuencia de bytes cuyo contenido esté en algún tipo de codificación).
Las cadenas unicode que forman parte de un archivo fuente son codificadas junto con el resto del contenido del archivo cuando éste se guarda en el disco duro, y son decodificadas posteriormente cuando dicho archivo es leído. Es decir, usar un tipo de codificación para codificar un archivo es una forma de representar de forma óptima el contenido del archivo como una secuencia de bytes, indicando los límites de cada carácter mediante cabeceras de bits. De esta forma no es necesario (como el caso de cadenas unicode en memoria) un tamaño fijo para todos los caracteres, sino que es variable, siendo conocido a la hora de decodificar el contenido.