3

Estaba probando a aplicar 'is' a cadenas y me he llevado una sorpresa al comprobar que el mismo código genera distinto resultado en el IDLE de Python que en Jupyter Notebook

introducir la descripción de la imagen aquí

introducir la descripción de la imagen aquí

Entiendo que puesto que a y b son cadenas el comportamiento esperado es el que devuelve el IDLE pero porque Jupyter Notebook aloja en distintos direcciones de memoria la misma cadena?

Edito a partir de aqui y añado la ejecución en VSC:

introducir la descripción de la imagen aquí

3
  • 3
    Que haya dado True en el IDLE quizás sea algo más fortuito que otra cosa, porque a mi me da False tanto en Jupyter como en cPython. El comportamiento se debe a las raíces que Python tiene de C. Mira esta pregunta y sus respuestas. También mira esta otra.
    – aeportugal
    Commented el 9 jun. 2023 a las 20:47
  • He editado la pregunta para añadir la ejecución en VSC, y vuelve a dar True y la dirección de memoria es la misma. Creo que el comportamiento anómalo es el que se da en Jupyter pero no sé el motivo
    – RHAAPHAA
    Commented el 9 jun. 2023 a las 21:31
  • 1
    Más que nada es casualidad. Las variables tiene diferentes direcciones de memoria y solo en algunos casos (por optimizacion) compartes las direcciones. Lee las respuestas que te dieron y más que seguro entenderás
    – Christian
    Commented el 9 jun. 2023 a las 22:33

1 respuesta 1

2

Tu pregunta es un poco maliciosa... y la malicia se viste de espacio... Lo digo porque me da que te has dado cuenta de que no es lo mismo "Peter" que "Pe ter"...

En realidad todo esto se debe a optimizaciones que CPython realiza sobre nuestro código sin decirnos nada.

Antes de nada algunas aclaraciones:

  • El operador de identidad is comprueba si dos identificadores apuntan al mismo objeto en memoria. Python asegura que un objeto tendrá una id única durante todo su tiempo de vida, en CPython esta id es la dirección de memoria del objeto.

  • Las cadenas en Python son objetos inmutables, una vez creadas no se pueden modificar.

Dicho esto, hay dos cosas en concreto implicadas que se deben entender para explicar lo que está pasando, el constant folding y el string interning.

Constant folding

La propagación de constantes es un mecanismo muy entendido de optimización que llevan a cabo muchos compiladores e intérpretes. En esencia consiste en identificar expresiones constantes en el código, evaluarlas y reemplazarlas por su valor.

Por ejemplo, en:

a = "Peter" * 3

"Peter" * 3 es una expresión constante que se conoce antes del tiempo de ejecución. A la hora de generar el bytecode, en vez de dejar que la expresión se evalúe en tiempo de ejecución es más eficientes evaluarla durante la "compilación" ("Peter" * 3 => "PeterPeterPeter") y asociar el resultado al identificador a).

Volviendo a nuestra cuestión original, tomemos por ejemplo esto:

a = "Pe ter" * 3
b = "Pe ter" * 3

Si esto se envía al interprete "en una pieza", es lo suficientemente "listo" para darse cuenta que "Pe ter" * 3 es una expresión constante por lo que la evalúa:

>>> import dis
>>> dis.dis('a = "Pe ter" * 3; b = "Pe ter" * 3')
  0           0 RESUME                   0

  1           2 LOAD_CONST               0 ('Pe terPe terPe ter')
              4 STORE_NAME               0 (a)
              6 LOAD_CONST               0 ('Pe terPe terPe ter')
              8 STORE_NAME               1 (b)
             10 RETURN_CONST             1 (None)

a ambas variables se les asocia el mismo literal, observase como el argumento del opcode LOAD_CONST está indicando que se cargue el mismo objeto desde la tupla co_consts (0).

String interning

Volvamos a un ejemplo parecido al anterior:

a = "Peter"
b = "Peter"

Si nos olvidamos de la propagación de constantes, si el interprete ejecutara esto "a ciegas" crearía un objeto str y enlazaría el identificador a al mismo. Luego crearía otro objeto str y enlazaría b al mismo.

No es difícil darse cuenta de que si las cadenas son inmutables y ambas cadenas son la misma, es un desperdicio crear dos objetos idénticos en memoria. Esto es justamente de lo que trata el string interning, el proceso mediante el cual se asegura que una sola copia de una misma cadena es almacenada en memoria:

>>> a is b
True
>>> id(a)
134284461786624
>>> id(b)
134284461786624

CPython realiza esta optimización automáticamente en una serie de casos:

  • Las cadenas vacías.
  • Las cadenas de un solo carácter.
  • Casi todas las cadena de hasta 4096* caracteres. Esto se aplica a cadenas que contienen letras incluidas en ASCII, números y el guion bajo (_), el resto (como aquellas que incluyen espacios, caracteres no ASCII como la "ñ", etc) se excluyen en principio.
  • Los nombres de los identificadores (nombres de variables, funciones, clases, etc).
  • Las claves de los diccionarios.
  • En algunas funciones de la stdlib implícitamente también se realiza este proceso, por ejemplo pathlib lo hace con los componentes de las rutas.

Obviamente la primera razón del string interning es reducir el uso de memoria, pero hay otros beneficios secundarios, por ejemplo, a la hora de comparar si dos interns son iguales solo hay que comparar si tienen la misma id.

Se debe tener en cuenta que esto son detalles de implementación de CPython, no forma parte de las especificaciones del lenguaje, por lo que diferentes implementaciones (PyPy, Jython, etc) pueden funcionar de forma muy distinta a CPython. Es más, no podemos asegurar que dentro de CPython esto funcione siempre así o que sea estable en versiones distintas del interprete**

Esta es una de las razones por la que jamás se debe usar is para comparar si dos cadenas son iguales, aún cuando las cadenas implicadas sean susceptibles de esta optimización.

El proceso de interning se lleva a cabo con otros objetos inmutables, como es el caso de las tuplas.

Hay más optimizaciones que el intérprete hace "por debajo" y que son también detalles de implementación, la más conocida es el small integer caching, los enteros en el rango de -5 a 256 son singletons, como None por ejemplo. Al ser estos números muy usados el intérprete crea estos objetos al iniciarse y cualquier referencia a ellos en el código se asocia al mismo objeto en memoria.

Tener en cuenta que se puede aplicar el string interning explícitamente mediante sys.intern:

>>> import sys
>>> a = sys.intern("cigüeña")
>>> b = sys.intern("cigüeña")
>>> a is b
True

Bueno y ¿qué tiene que ver todo esto con que el resultado de is difiera si se ejecuta en IPython o si se ejecuta en un módulo? Hay dos cosas a tener en cuenta:

  • Como ya sabemos, a las cadenas con espacios (en principio) no se les aplica el string interning. Aquí es donde entra lo del "espacio malicioso" del principio.

  • Cuando se ejecuta código en un intérprete interactivo, como IPython o el REPL, las unidades de "compilación" son las sentencias. Es decir, cuando se ejecuta:

    >>> a = "Peter"
    >>> b = "Peter"
    

se envía a = "Peter" al interprete, se ejecuta y se obtiene el resultado y luego se procede a hacer lo mismo con b = "Peter". En cambio, cuando se ejecuta lo mismo dentro de un módulo CPython recibe todo el código de una vez, genera el bytecode y después lo ejecuta (interpreta), por lo que puede aplicar la propagación de constantes.

Esto hace que:

>>> a = "Peter"
>>> b = "Peter"
>>> a is b

retorne True tanto en el REPL/IPython como si se ejecuta dentro de un módulo. En este caso "Peter" es una cadena susceptible de string interning, en cambio:

>>> a = "Pe ter"
>>> b = "Pe ter"
>>> a is b

retorna False en REPL/IPython pero True si se ejecuta en un módulo. En este caso ese espacio hace que la cadena no sea susceptible del string interning, pero en el caso de ejecutarse como módulo el interprete aun puede aplicar la propagación de constantes como optimización.

Observase que si creamos un módulo (test.py) con:

a = "Pe ter"
b = "Pe ter"

y lo ejecutamos de forma interactiva:

$ python -i test.py

podemos ver que:

>>> a is b
True
>>> "Pe ter" is a
False

en cambio:

a = "Peter"
b = "Peter"

tenemos:

>>> a is b
True
>>> "Peter" is a
True

En el segundo caso está actuando el string interning pero no en el primero.


  • A partir de Python 3.7 (AST optimizer), anteriormente el limite era inferior, 20 caracteres.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.