sys.getsizeof
retorna el los bytes ocupados por el objeto en memoria. digest
retorna un objeto str
nativo de Python y sys.getsizeof
retorna lo que este objeto al completo ocupa en memoria, lo que no equivale a lo que ocupa la cadena (secuencia de caracteres) que contiene.
El error de concepto viene por creer que str
es solo una secuencia de bytes (caracteres ASCII), un tipo de dato al estilo de char
en C, cuando es un objeto como todo en Python (más similar a std::string
de C++ salvando las distancias). No hay que confundir el número de elementos contenidos en el string y lo que estos ocupan en memoria, con lo que el objeto str
ocupa en memoria en su totalidad. Si vemos parte de la implementación de cpython de la clase str
(Python 2.7):
typedef struct {
PyObject_VAR_HEAD
long ob_shash;
int ob_sstate;
char ob_sval[1];
/* Invariants:
* ob_sval contains space for 'ob_size+1' elements.
* ob_sval[ob_size] == 0.
* ob_shash is the hash of the string or -1 if not computed yet.
* ob_sstate != 0 iff the string object is in stringobject.c's
* 'interned' dictionary; in this case the two references
* from 'interned' to this object are *not counted* in ob_refcnt.
*/
} PyStringObject;
vemos que, además del char
(que contiene la cadena junto al carácter de terminación de cadena \0
), tenemos un int
, un long
y PyObject_VAR_HEAD
que ocupan su espacio en memoria. A esto hay que sumarle, por ejemplo, la sobrecarga ocasionada por el recolector de basura encargado de manejar la memoria asignada a ese objeto. Por lo tanto, sys.getsizeof
retorna lo que ocupa el objeto en memoria al completo, que es siempre algo más que la secuencia de caracteres.
Un objeto string tiene una sobrecarga inicial de entorno a 37 bytes (puede variar dependiendo del sistema). Es decir, una cadena vacía (str
) ya ocupa 37 bytes en memoria. Por cada carácter añadimos un byte, por lo que en nuestro caso tenemos 37 + 32 =
69 bytes.
Dado que lo que quieres es obtener los bytes que ocupan en memoria la cadena y que str
almacena precisamente bytes (ASCII) basta con que uses len
:
>>> len(key)
32
>>> sys.getsizeof(key)
69
Hay que recordar que estamos tratando con objetos, un int
, un float
, str
son objetos, lo cual conlleva cierta sobrecarga además de lo que ocupan los datos que almacenan en si mismos. Esto no es exclusivo de Python, volviendo a C++, no es de extrañar que un objeto std::string
que supuestamente almacena una cadena de 100 bytes nos retorna que ocupa 8 bytes en memoria, no es magia, solo que el objeto se limita a almacenar por ejemplo un puntero (a la cadena propiamente dicha) y un entero (almacenando el tamaño de la cadena por lo general) pero no la propia cadena, la cual maneja de forma dinámica en memoria (dependiendo de la implementación del compilador). Con esto quiero decir que hay que ser muy cuidadoso cuando estamos tratando con objetos y queremos interpretar lo que ocupan en memoria.