Tu pregunta es un poco maliciosa... y la malicia se viste de espacio... Lo digo porque me da que te has dado cuenta de que no es lo mismo "Peter"
que "Pe ter"
...
En realidad todo esto se debe a optimizaciones que CPython realiza sobre nuestro código sin decirnos nada.
Antes de nada algunas aclaraciones:
El operador de identidad is
comprueba si dos identificadores apuntan al mismo objeto en memoria. Python asegura que un objeto tendrá una id única durante todo su tiempo de vida, en CPython esta id es la dirección de memoria del objeto.
Las cadenas en Python son objetos inmutables, una vez creadas no se pueden modificar.
Dicho esto, hay dos cosas en concreto implicadas que se deben entender para explicar lo que está pasando, el constant folding y el string interning.
Constant folding
La propagación de constantes es un mecanismo muy entendido de optimización que llevan a cabo muchos compiladores e intérpretes. En esencia consiste en identificar expresiones constantes en el código, evaluarlas y reemplazarlas por su valor.
Por ejemplo, en:
a = "Peter" * 3
"Peter" * 3
es una expresión constante que se conoce antes del tiempo de ejecución. A la hora de generar el bytecode, en vez de dejar que la expresión se evalúe en tiempo de ejecución es más eficientes evaluarla durante la "compilación" ("Peter" * 3
=> "PeterPeterPeter"
) y asociar el resultado al identificador a
).
Volviendo a nuestra cuestión original, tomemos por ejemplo esto:
a = "Pe ter" * 3
b = "Pe ter" * 3
Si esto se envía al interprete "en una pieza", es lo suficientemente "listo" para darse cuenta que "Pe ter" * 3
es una expresión constante por lo que la evalúa:
>>> import dis
>>> dis.dis('a = "Pe ter" * 3; b = "Pe ter" * 3')
0 0 RESUME 0
1 2 LOAD_CONST 0 ('Pe terPe terPe ter')
4 STORE_NAME 0 (a)
6 LOAD_CONST 0 ('Pe terPe terPe ter')
8 STORE_NAME 1 (b)
10 RETURN_CONST 1 (None)
a ambas variables se les asocia el mismo literal, observase como el argumento del opcode LOAD_CONST
está indicando que se cargue el mismo objeto desde la tupla co_consts
(0).
String interning
Volvamos a un ejemplo parecido al anterior:
a = "Peter"
b = "Peter"
Si nos olvidamos de la propagación de constantes, si el interprete ejecutara esto "a ciegas" crearía un objeto str
y enlazaría el identificador a al mismo. Luego crearía otro objeto str
y enlazaría b
al mismo.
No es difícil darse cuenta de que si las cadenas son inmutables y ambas cadenas son la misma, es un desperdicio crear dos objetos idénticos en memoria. Esto es justamente de lo que trata el string interning, el proceso mediante el cual se asegura que una sola copia de una misma cadena es almacenada en memoria:
>>> a is b
True
>>> id(a)
134284461786624
>>> id(b)
134284461786624
CPython realiza esta optimización automáticamente en una serie de casos:
- Las cadenas vacías.
- Las cadenas de un solo carácter.
- Casi todas las cadena de hasta 4096* caracteres. Esto se aplica a cadenas que contienen letras incluidas en ASCII, números y el guion bajo (_), el resto (como aquellas que incluyen espacios, caracteres no ASCII como la "ñ", etc) se excluyen en principio.
- Los nombres de los identificadores (nombres de variables, funciones, clases, etc).
- Las claves de los diccionarios.
- En algunas funciones de la stdlib implícitamente también se realiza este proceso, por ejemplo
pathlib
lo hace con los componentes de las rutas.
Obviamente la primera razón del string interning es reducir el uso de memoria, pero hay otros beneficios secundarios, por ejemplo, a la hora de comparar si dos interns
son iguales solo hay que comparar si tienen la misma id.
Se debe tener en cuenta que esto son detalles de implementación de CPython, no forma parte de las especificaciones del lenguaje, por lo que diferentes implementaciones (PyPy, Jython, etc) pueden funcionar de forma muy distinta a CPython. Es más, no podemos asegurar que dentro de CPython esto funcione siempre así o que sea estable en versiones distintas del interprete**
Esta es una de las razones por la que jamás se debe usar is
para comparar si dos cadenas son iguales, aún cuando las cadenas implicadas sean susceptibles de esta optimización.
El proceso de interning se lleva a cabo con otros objetos inmutables, como es el caso de las tuplas.
Hay más optimizaciones que el intérprete hace "por debajo" y que son también detalles de implementación, la más conocida es el small integer caching, los enteros en el rango de -5 a 256 son singletons, como None
por ejemplo. Al ser estos números muy usados el intérprete crea estos objetos al iniciarse y cualquier referencia a ellos en el código se asocia al mismo objeto en memoria.
Tener en cuenta que se puede aplicar el string interning explícitamente mediante sys.intern
:
>>> import sys
>>> a = sys.intern("cigüeña")
>>> b = sys.intern("cigüeña")
>>> a is b
True
Bueno y ¿qué tiene que ver todo esto con que el resultado de is
difiera si se ejecuta en IPython o si se ejecuta en un módulo? Hay dos cosas a tener en cuenta:
Como ya sabemos, a las cadenas con espacios (en principio) no se les aplica el string interning. Aquí es donde entra lo del "espacio malicioso" del principio.
Cuando se ejecuta código en un intérprete interactivo, como IPython o el REPL, las unidades de "compilación" son las sentencias. Es decir, cuando se ejecuta:
>>> a = "Peter"
>>> b = "Peter"
se envía a = "Peter"
al interprete, se ejecuta y se obtiene el resultado y luego se procede a hacer lo mismo con b = "Peter"
. En cambio, cuando se ejecuta lo mismo dentro de un módulo CPython recibe todo el código de una vez, genera el bytecode y después lo ejecuta (interpreta), por lo que puede aplicar la propagación de constantes.
Esto hace que:
>>> a = "Peter"
>>> b = "Peter"
>>> a is b
retorne True
tanto en el REPL/IPython como si se ejecuta dentro de un módulo. En este caso "Peter" es una cadena susceptible de string interning, en cambio:
>>> a = "Pe ter"
>>> b = "Pe ter"
>>> a is b
retorna False
en REPL/IPython pero True
si se ejecuta en un módulo. En este caso ese espacio hace que la cadena no sea susceptible del string interning, pero en el caso de ejecutarse como módulo el interprete aun puede aplicar la propagación de constantes como optimización.
Observase que si creamos un módulo (test.py) con:
a = "Pe ter"
b = "Pe ter"
y lo ejecutamos de forma interactiva:
$ python -i test.py
podemos ver que:
>>> a is b
True
>>> "Pe ter" is a
False
en cambio:
a = "Peter"
b = "Peter"
tenemos:
>>> a is b
True
>>> "Peter" is a
True
En el segundo caso está actuando el string interning pero no en el primero.
- A partir de Python 3.7 (AST optimizer), anteriormente el limite era inferior, 20 caracteres.
True
en el IDLE quizás sea algo más fortuito que otra cosa, porque a mi me daFalse
tanto en Jupyter como en cPython. El comportamiento se debe a las raíces que Python tiene deC
. Mira esta pregunta y sus respuestas. También mira esta otra.