0

Estoy intentando sacar la varianza de un dataframe. Tengo varias columnas y varias filas. Quiero sacar la varianza de cada columna. He puesto esto en Jupyter Notebook:

numpy.var(df, axis=0)

siendo df mi dataframe con varias variables como columnas y observaciones como filas.

Me da un resultado pero no coincide con la varianza real. Es un valor muy bajo, inferior a uno. Ayuda, no se si estoy empleando una función mal. Gracias.

introducir la descripción de la imagen aquí

    Var1    Var2    Var3    Var4    Var5    Var6
2019M01 98.841  98.596  96.874  100.164 97.882  105.306
2019M02 99.043  98.714  97.625  100.363 98.036  109.672
2019M03 99.676  98.816  96.103  102.028 98.316  113.931
2019M04 100.592 98.918  95.654  104.204 98.648  114.119
2019M05 101.073 98.965  96.988  105.156 98.722  116.348
2019M06 101.343 99.051  98.206  105.248 99.088  115.544
2019M07 100.402 99.131  96.946  102.258 99.721  113.386
2019M08 100.068 99.256  98.635  100.580 100.121 108.111
2019M09 99.761  99.454  98.415  100.545 99.309  105.173
2019M10 100.399 99.589  99.728  102.335 98.952  103.645
2019M11 100.767 99.705  98.932  103.640 98.749  103.541
2019M12 100.472 99.794  98.786  102.550 99.026  100.050
2020M01 98.556  99.936  100.046 97.221  98.979  95.566
2020M02 98.208  100.014 98.396  96.167  99.355  94.103
2020M03 98.838  100.068 98.186  97.462  99.743  96.615
2020M04 99.531  100.062 98.695  99.482  99.484  97.921
2020M05 100.074 100.090 99.513  100.717 99.539  100.687
2020M06 100.537 100.007 100.436 101.509 99.845  102.638
2020M07 99.806  99.899  102.513 98.451  100.624 100.831
2020M08 99.934  99.956  102.247 98.161  101.266 99.136
2020M09 99.939  99.989  99.592  99.501  100.402 100.686
2020M10 101.081 99.949  99.963  102.809 100.088 103.308
2020M11 101.447 99.991  99.528  103.906 100.024 102.475
2020M12 102.049 100.040 100.885 104.613 100.649 106.035
4
  • ¿Un ejemplo de tus datos en df?
    – abulafia
    Commented el 20 nov. 2021 a las 19:05
  • son datos del IPC
    – user257989
    Commented el 20 nov. 2021 a las 19:36
  • 1
    Me refiero a tu dataframe concreto, una muestra de sus filas y columnas para poder ejecutar tu misma operación y ver si sale lo mismo, y compararlo con otros modos de obtener la varianza y entender cuál puede ser el problema.
    – abulafia
    Commented el 20 nov. 2021 a las 20:09
  • he adjuntado una imagen. Gracias.
    – user257989
    Commented el 20 nov. 2021 a las 21:48

2 respuestas 2

1

Directamente con pandas

Pandas tiene también el método .var() que puedes usar en lugar de numpy.

Si df contiene los datos que has mostrado de ejemplo en la pregunta, entonces el resultado sería:

>>> df.var()
Var1     0.925333
Var2     0.258133
Var3     2.960153
Var4     6.703011
Var5     0.728134
Var6    41.788085

Como ves, obtienes por separado la varianza de cada columna. Se observa también que algunas son inferiores a 1, pero otras en cambio son muy superiores. No hay ninguna razón por la que debas esperar ningún valor particular de la varianza, pues eso depende de los datos que haya en la columna y de cómo sean de diferentes entre sí.

Usando numpy

Lo que tú intentaste con numpy era también correcto:

>>> np.var(df, axis=0)
Var1     0.886777
Var2     0.247377
Var3     2.836814
Var4     6.423719
Var5     0.697795
Var6    40.046914

y también se observa cómo algunos están por debajo de 1 y otros por encima.

Sin embargo también se observa que no sale exactamente igual que usando .var() de pandas.

¿Por qué no sale exactamente igual?

Porque hay una diferencia entre el concepto "varianza de la población" y "varianza de la muestra".

Por ejemplo, considera una variable aleatoria que sigue una distribución normal de varianza 1. Si tomaras infinitas muestras de esa variable y calcularas la varianza de ellas, te debería salir 1. Pero normalmente no tienes infinitas muestras, sino solo unas pocas. Eso es lo que se llama la muestra (mientras que los infinitos casos posibles serían la población). Es perfectamente lógico que cuando trabajas con una muestra pequeña la varianza te pueda salir distinta de 1, ya que por azar has podido seleccionar elementos de la población que sean parecidos entre sí. Cuantos más elementos tengas más se parecerá la varianza de la muestra a 1 (que es la varianza de la población).

Típicamente cuando se calcula la varianza de una muestra se ajusta la fórmula y en el denominador se pone n-1 en vez de n (las razones matemáticas de por qué se hace eso se me escapan, pero la idea es que salga una varianza ligeramente mayor, para compensar la falta de información sobre la población).

Entonces lo que está pasando en los ejemplos anteriores es que pandas está calculando la varianza usando la fórmula para la muestra (dividiendo por n-1), mientras que numpy está calculando la varianza de la población (dividiendo por n).

En realidad, pandas divide entre (n-ddof) donde ddof es 1, pero le puedes asignar otro valor. Así, para que coincida con el resultado que te da numpy.var() puedes hacer:

>>> df.var(ddof=0)
Var1     0.886777
Var2     0.247377
Var3     2.836814
Var4     6.423719
Var5     0.697795
Var6    40.046914

Calculándolo "a mano"

Para despejar toda duda, podemos calcular la varianza a mano y ver que sale lo mismo que en los casos anteriores. La varianza (sigma cuadrado) se define como la suma de los cuadrados de las diferencias entre cada dato con la media, dividido por el número de datos (menos el ddof)

Es decir, podemos escribir nuestra propia función que recibiría una columna pandas para calcular este valor:

def my_var(columna, ddof=0):
   media = columna.mean()
   n = len(columna)
   suma = 0
   for dato in columna:
      suma += (dato-media)**2
   varianza = suma/(n-ddof)
   return varianza

Y podemos ver que sale lo mismo que pandas (si haces ddof=1) y que numpy (si haces ddof=0), por ejemplo para la columna Var6:

>>> my_var(df.Var6, ddof=1)
41.788084693840574

>>> my_var(df.Var6, ddof=0)
40.04691449826388
0

De acuerdo con los datos que has aportado, la varianza poblacional será np.var(datos, axis=0)

Var 1: 0.886777, Var 2: 0.247377, Var 3: 2.836814, Var 4: 6.423719, Var 5: 0.697795, Var 6: 40.046914

o también, podemos calcular la varianza muestral con datos.var(axis=0)

Var 1: 0.925333, Var 2: 0.258133, Var 3: 2.960153, Var 4: 6.703011, Var 5: 0.728134, Var 6: 41.788085

Si da valores inferiores a 1 en algunos casos, es porque la dispersión de los datos es muy baja, deberías hecharle un vistazo a los cálculos realizados.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.