Primero aclarar que valores["Valores"]
es una Serie (una columna de un DataFrame no deja de ser una Serie). Por su parte lista_ordenada
es un array NumPy, por lo que np.std(lista_ordenada)
es lo mismo que lista_ordenada.std()
No hay ninguna discrepancia de exactitud entre Pandas y NumPy, la diferencia se debe a que Pandas por defecto usa un grado de libertad al calcular la varianza, usando como denominador n - 1
, mientra que NumPy por defecto usa 0 grados de libertad, usando como denominador n
directamente (dónde n
es es el tamaño de la muestra). Esto está determinado por el argumento ddof
y es lo que se conoce como corrección de Bessel.
Es decir, la fórmula para calcular la varianza por defecto en NumPy sería:

mientras que Pandas por defecto usa:

Esto es importante cuando se quiere estimar la desviación estándar como indicador estadístico de una población a partir de una muestra de la misma. NumPy por tanto proporciona por defecto una estimación sesgada de la varianza poblacional (sin la corrección de Bessel) mientra que Pandas proporciona una estimación no sesgada de la varianza de una población infinita hipotética (con la corrección de Bessel).
Si quieres conseguir el mismo resultado que en NumPy simplemente modifica el parámetro ddof
, que acepta tanto pandas.Series.var()
/pandas.Series.std()
como numpy.var()
/numpy.std()
en función de si quieres o no corregir la estimación (ddof = 1
-> corrección de Bessel (estimación no segada), ddof = 0
-> Sin corrección (estimación sesgada):
>>> valores["Valores"].std() # pd.Series.std (valores["Valores"].std(ddof=1))
19.925494133288044
>>> lista_ordenada.std(ddof=1) # np.std
19.925494133288044
>>> valores["Valores"].var() # pd.Series.var (valores["Valores"].var(ddof=1))
397.0253164556962
>>> lista_ordenada.var(ddof=1) # np.var
397.0253164556962
>>> valores["Valores"].std(ddof=0) # pd.Series.std
19.80056817366613
>>> lista_ordenada.std() # np.std (lista_ordenada.std(ddof=0))
19.80056817366613
>>> valores["Valores"].var(ddof=0) # pd.Series.var
392.0625
>>> lista_ordenada.var() # np.var (lista_ordenada.var(ddof=0))
392.0625
El módulo de la std statistics
, al igual que Pandas, usa la corrección de Bessel tanto en statistics.variance
(varianza muestral) como en statitics.std (
desviación estándar muestral). En ambos casos no existe una forma directa de modificar esto como ocurre con NumPy/Pandas.
Por otro lado statistics
proporciona también las funciones statistics.pstdev
(desviación estándar poblacional) y statistics.pvariance
(varianza poblacional) que obviamente usan N
y no n - 1
como sus homólogas muestrales.
Edición
Hay una aparente discrepancia entre NumPy/Pandas (con ddof
1) y statistics.variance
/ statistics.std
:
>>> lista_ordenada.std(ddof=1)
397.0253164556962
>>> st.variance(lista_ordenada)
397
Investigando un poco he dado con la causa, no está relacionado con la precisión, es solo un efecto colateral de la función final encargada de convertir el tipo de dato regresado por las distintas funciones de statistics
:
def _convert(value, T):
"""Convert value to given numeric type T."""
if type(value) is T:
# This covers the cases where T is Fraction, or where value is
# a NAN or INF (Decimal or float).
return value
if issubclass(T, int) and value.denominator != 1:
T = float
try:
return T(value)
except TypeError:
if issubclass(T, Decimal):
return T(value.numerator)/T(value.denominator)
else:
raise
Como los datos originales son de tipo np.int64
a causa del return T(value)
(dónde T
es el tipo), se hace un casting a np.int64
lo cual trunca el resultado eliminado los decimales. T
no se modifica en el condicional porque numpy.int64
no es una subclase de int
(tipo de Python estándar), por lo que en el try
la línea return T(value)
queda como np.int64(value)
. Realmente statistics
no está pensada explícitamente para ser usada con tipos de NumPy sino con los tipos de Python estándar (int
, float
, Decimal
y Fraction
) por lo que nos podemos encontrar con este tipo de cosas, pero podemos resolver el problema de varias formas:
No obstante si estamos usando numpy/pandas se deben usar sus funciones ya que permiten vectorizar las operaciones.