1

Tengo un pequeño conflicto al agrupar algunos datos usando Pandas. El ejercicio lo he resuelto usando un for y algunos condicionales (no soy programadora), pero me parece que se puede resolver más fácil y elegante usando pandas.

Tengo un dataframe con la siguiente estructura:

                     Val_ini   Val_fin
2021-04-28 22:55:00  1.21312   1.21300
2021-04-28 22:56:00  1.21307   1.21317
2021-04-28 22:57:00  1.21312   1.21314
2021-04-28 22:58:00  1.21319   1.21320
2021-04-28 22:59:00  1.21300   1.21310
...                      ...       ...
2021-04-29 00:51:00  1.21393   1.21390
2021-04-29 00:52:00  1.21391   1.21386
2021-04-29 00:53:00  1.21370   1.21386
2021-04-29 00:54:00  1.21386   1.21391
2021-04-29 00:55:00  1.21391   1.21386

El index es un DataTime (*2021-04-29 00:55:00*) '%Y-%m-%d %H:%M:%S'

Necesito hacer grupos de datos cada cinco (5) minutos, y realizar algunos promedios con los valores (Val_ini y Val_fin). Debería quedar algo así:

                     Val_ini   Val_fin
2021-04-28 22:55:00  1.21312   1.21300
2021-04-28 22:56:00  1.21307   1.21317
2021-04-28 22:57:00  1.21312   1.21314
2021-04-28 22:58:00  1.21319   1.21320
2021-04-28 22:59:00  1.21300   1.21310
                     Promedio  Promedio
                     Val_ini   Val_fin
                     en 5min   en 5min

2021-04-28 13:00:00  1.13120   1.23000
2021-04-28 13:01:00  1.13070   1.23170
2021-04-28 13:02:00  1.13120   1.23140
2021-04-28 13:03:00  1.13190   1.23200
2021-04-28 13:04:00  1.13000   1.13100
                     Promedio  Promedio
                     Val_ini   Val_fin
                     en 5min   en 5min

2021-04-28 13:05:00  1.36162   1.33000
2021-04-28 13:06:00  1.37047   1.35127
2021-04-28 13:07:00  1.38712   1.38140
2021-04-28 13:08:00  1.32419   1.32204
2021-04-28 13:09:00  1.30000   1.30105
                     Promedio  Promedio
                     Val_ini   Val_fin
                     en 5min   en 5min

Mi DataFrame se llama rango_datos

Intente agrupar los datos así:

  agruparcion = rango_datos.index.to_period("5min")

  print(rango_datos.groupby([ agrupacion, rango_datos.index.time]).sum())

Pero no veo que se formen los grupos que necesito.

¿Me podríais hacer favor de orientarme, en este aspecto?

2
  • Fe de erratas: (en la variable agruparcion, se quizo escribir agrupacion) agrupacion = rango_datos.index.to_period("5min") print(rango_datos.groupby([ agrupacion, rango_datos.index.time]).sum()) Commented el 29 abr. 2021 a las 1:42
  • Puedes editar tu pregunta para corregirla.
    – padaleiana
    Commented el 29 abr. 2021 a las 1:48

2 respuestas 2

2

No entiendo del todo la funcionalidad de .to_period(), que nunca había usado, pero por las pruebas que he realizado da la sensación de que no puedes usarlo para agrupar de 5 en 5 minutos, sino tan solo por minutos, o por horas, o por días, etc... pero no por fracción o múltiplo de esas unidades.

Creo que una solución mejor a lo que buscas es utilizar .resample(), si bien tiene un efecto secundario (¿indeseado?) de que entre la hora inicial y la final aparecerán todos los intervalos de 5 minutos, aún si el dataframe original no contenía datos en esos intervalos.

Veámoslo con un ejemplo:

He copiado los datos de tu dataframe, omitiendo la zona en que aparecían "...", por lo que mi dataframe tiene solo datos para los primeros cinco minutos y los cinco últimos de tu intervalo:

>>> df
                     Val_ini  Val_fin
hora                                 
2021-04-28 22:55:00  1.21312  1.21300
2021-04-28 22:56:00  1.21307  1.21317
2021-04-28 22:57:00  1.21312  1.21314
2021-04-28 22:58:00  1.21319  1.21320
2021-04-28 22:59:00  1.21300  1.21310
2021-04-29 00:51:00  1.21393  1.21390
2021-04-29 00:52:00  1.21391  1.21386
2021-04-29 00:53:00  1.21370  1.21386
2021-04-29 00:54:00  1.21386  1.21391
2021-04-29 00:55:00  1.21391  1.21386

Utilizo .resample() con un periodo de 5min, y calculo lel promedio de cada intervalo:

>>> df.resample("5min").mean()
                     Val_ini   Val_fin
hora                                  
2021-04-28 22:55:00  1.21310  1.213122
2021-04-28 23:00:00      NaN       NaN
2021-04-28 23:05:00      NaN       NaN
2021-04-28 23:10:00      NaN       NaN
2021-04-28 23:15:00      NaN       NaN
2021-04-28 23:20:00      NaN       NaN
2021-04-28 23:25:00      NaN       NaN
2021-04-28 23:30:00      NaN       NaN
2021-04-28 23:35:00      NaN       NaN
2021-04-28 23:40:00      NaN       NaN
2021-04-28 23:45:00      NaN       NaN
2021-04-28 23:50:00      NaN       NaN
2021-04-28 23:55:00      NaN       NaN
2021-04-29 00:00:00      NaN       NaN
2021-04-29 00:05:00      NaN       NaN
2021-04-29 00:10:00      NaN       NaN
2021-04-29 00:15:00      NaN       NaN
2021-04-29 00:20:00      NaN       NaN
2021-04-29 00:25:00      NaN       NaN
2021-04-29 00:30:00      NaN       NaN
2021-04-29 00:35:00      NaN       NaN
2021-04-29 00:40:00      NaN       NaN
2021-04-29 00:45:00      NaN       NaN
2021-04-29 00:50:00  1.21385  1.213882
2021-04-29 00:55:00  1.21391  1.213860

Ahi ves a qué me refería con lo de incluir todos los intervalos.

Si no te interesa tener los vacíos, siempre puedes usar dropna()

>>> df.resample("5min").mean().dropna()
                     Val_ini   Val_fin
hora                                  
2021-04-28 22:55:00  1.21310  1.213122
2021-04-29 00:50:00  1.21385  1.213882
2021-04-29 00:55:00  1.21391  1.213860

Ampliación

Lo de .dropna() funciona si la métrica que estás calculando es la media (.mean()), pero no funcionaría por ejemplo para la suma, porque en ese caso el resultado estaría relleno con 0 en vez de con NaN

Una solución a ese problema podría ser implementar la función de agregación de modo que haga solo la suma si el grupo no está vacío. Así:

def agg(x, f):
    if not x.empty:
        return getattr(x,f)()

df.resample("5min").apply(lambda x: agg(x, "sum")).dropna()

                     Val_ini  Val_fin
hora                                 
2021-04-28 22:55:00  6.06550  6.06561
2021-04-29 00:50:00  4.85540  4.85553
2021-04-29 00:55:00  1.21391  1.21386

En vez de "sum" puedes poner "mean", "prod", "count", "max", "min", etc.

1

Para dividir tu índice en intervalos de cinco minutos podrías utilizar

DataFrame.resample('5min')

si además quieres el valor de la media cada cinco minutos podrías agregar .mean() esto es

DataFrame.resample('5min').mean()

el resultado será la media de cada intervalo de 5 minutos de val_ini y val_fin.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.