1

Tengo un dataframe que contiene datos de un conjunto de pruebas que he realizado. Y ahora me gustaría hacer la media de las columnas. El problema, es que quiero hacer la media en lotes de 5 filas. Es decir, coger las primeras 5 filas y obtener el valor medio para cada columna, las 5 siguientes y lo mismo...

Básicamente quiero esto porque si os fijáis la segunda fila es KFold, que va de 0 a 4 (5 filas) y estas 5 filas son el mismo experimento/prueba repetido 5 veces, por lo tanto si hago la media de estos 5, tengo el resultado general de este experimento.

A continuación dejo un ejemplo de mi dataframe:

Index Code  kFold   Epochs  Batch size  Loss    LR  Optimizer   Train Loss  Val Loss    Train Acc (%)   Val Acc (%) Train Prec. (%) Val Prec (%)    Train Recall (%)    Val Recall (%)  VN  FN  FP  VP  Train time (segs)
0   Feat_1  0   2212    1100    binary_crossentropy 0.1 Adam    0.0528  0.0588  98.1    98.0    94.2    96.1    96.0    93.9    464 7   6   76  25.5910
1   Feat_2  1   2212    1100    binary_crossentropy 0.1 Adam    0.0552  0.0996  98.1    97.6    93.0    93.7    95.7    91.5    461 10  9   73  24.6834
2   Feat_3  2   2212    1100    binary_crossentropy 0.1 Adam    0.0499  0.0902  98.3    97.3    93.9    91.4    97.6    92.7    459 12  7   75  25.2233
3   Feat_4  3   2212    1100    binary_crossentropy 0.1 Adam    0.0485  0.0934  98.1    97.1    93.7    90.1    95.7    92.7    462 9   9   73  25.8720
4   Feat_5  4   2212    1100    binary_crossentropy 0.1 Adam    0.0522  0.0788  98.1    97.3    94.3    92.4    96.0    92.8    461 9   10  73  25.3213
5   Feat_6  0   2212    1100    binary_crossentropy 0.1 Adamax  0.0686  0.0608  97.5    98.0    92.3    96.1    93.0    91.5    467 4   9   73  24.6431
6   Feat_7  1   2212    1100    binary_crossentropy 0.1 Adamax  0.0680  0.1099  97.6    96.6    92.0    90.9    92.4    89.0    461 10  11  71  24.7920
7   Feat_8  2   2212    1100    binary_crossentropy 0.1 Adamax  0.0605  0.0881  97.6    96.9    100.0   88.2    93.0    92.7    460 11  7   75  24.5452
8   Feat_9  3   2212    1100    binary_crossentropy 0.1 Adamax  0.0616  0.0965  97.7    97.1    92.9    89.3    93.0    91.5    461 10  8   74  24.6338
9   Feat_10 4   2212    1100    binary_crossentropy 0.1 Adamax  0.0637  0.0819  97.7    96.9    93.1    92.3    93.6    86.7    463 7   12  71  24.9663
10  Feat_11 0   2212    1100    binary_crossentropy 0.1 SGD 0.1959  0.1868  91.8    92.4    73.7    74.1    71.1    75.6    449 22  20  62  24.9848
11  Feat_12 1   2212    1100    binary_crossentropy 0.1 SGD 0.1908  0.2067  92.2    90.4    100.0   100.0   72.9    67.1    445 26  27  55  26.8961
12  Feat_13 2   2212    1100    binary_crossentropy 0.1 SGD 0.1911  0.2019  92.2    90.6    100.0   70.6    72.9    69.5    444 27  25  57  24.4316
13  Feat_14 3   2212    1100    binary_crossentropy 0.1 SGD 0.1928  0.1960  91.9    91.9    73.4    76.1    71.4    68.3    452 19  26  56  24.5151
14  Feat_15 4   2212    1100    binary_crossentropy 0.1 SGD 0.1953  0.1874  91.7    92.9    100.0   79.7    70.7    71.1    453 17  24  59  25.7131

EDIT: Añado una foto por si no se lee bien, que se pueda ver cómodamente (son los mismos datos).

enter image description here

La verdad que no tengo mucho código que poner, pues el problema es saber si puedo o no hacerlo. Se que existe la función mean() y que con el atributo axis=0 defino que quiero trabajar las filas, pero no se como hacerlo.

¡¡Un saludo y muchas gracias!!

1
  • Ojo a1/n + a2/n + ... aj/n = (a1 + a2 + ... + aj)/n con n constante (en este caso 5), no vas a obtener un resultado diferente de que obtendrías haciendo directamente la media de la columna.
    – quevedo
    el 26 sep. 2020 a las 18:57

1 respuesta 1

1

En este caso lo mejor sería usar el groupby() de pandas junto con mean() ya que querras ver cual de tus optimizadores es mejor (Stochastic Gradient Descend o Adaptive Moment Estimation), aunque parece a simple vista que Adam es el mejor. El código de ejemplo para hacerlo sería el siguiente:

import pandas as pd
import numpy as np

df_matrix = pd.DataFrame(np.random.rand(9,3), columns=['peso', 'altura', 'actividad'])
df_matrix['tipo'] = ['virus']*3 + ['bacteria']*3 + ['celula'] *3

print(df_matrix.groupby(['tipo']).mean())

He generado una matriz (9,3) aleatoria, luego le he agregado una columna llamada "tipo" y por último he hecho la media según el tipo. En el groupby() tienes que seleccionar la columna que quieres hacer la media, que en tu caso será Optimizer.

Esta operación lo que hará será agrupar todas las columnas por el tipo de opitimizador y luego hacer la media.

Te recomiendo ver la documentación de Pandas sobre el groupby(), es una de las mejores funciones y más poderosas de pandas, que te quita mucho trabajo si sabes usarla. te dejo aquí la documentación oficial

2
  • 1
    MARAVILLOSO! Muchas gracias, al final lo he agrupado por Optimizador y Learning Rate, df.groupby(['Optimizer','LR']).mean()
    – Lleims
    el 27 sep. 2020 a las 10:28
  • 1
    Sí! dentro de la lista del groupby() puedes introducir todas las columnas que desees! Es parecido a un GROUP BY de SQL. De nada, me alegro que te haya servido! el 27 sep. 2020 a las 10:35

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.