1

Tengo un DataFrame cuyo índice es de tipo DateTime, los tiempos del índice no son continuos. Podéis ver que los tres primeros datos están en secuencia y después del tercer dato pasa directamente al minuto 50. Todo el DataFrame goza de esta característica.

datos_frecuencia
<class 'pandas.core.frame.DataFrame'>

                        Estado
2021-05-07 19:45:00      1.0
2021-05-07 19:46:00     -1.0
2021-05-07 19:47:00      0.0
2021-05-07 19:50:00     -1.0
2021-05-07 19:51:00      1.0
2021-05-07 19:52:00      1.0
2021-05-07 19:55:00      1.0
2021-05-07 19:56:00     -1.0
2021-05-07 19:57:00     -1.0
2021-05-07 20:00:00     -1.0
2021-05-07 20:01:00      1.0
2021-05-07 20:02:00     -1.0
2021-05-07 20:05:00     -1.0
2021-05-07 20:06:00      1.0
2021-05-07 20:07:00     -1.0
2021-05-07 20:10:00      0.0
2021-05-07 20:11:00     -1.0
2021-05-07 20:12:00      1.0
2021-05-07 20:15:00     -1.0
2021-05-07 20:16:00     -1.0
2021-05-07 20:17:00     -1.0
2021-05-07 20:20:00     -1.0
2021-05-07 20:21:00     -1.0
2021-05-07 20:22:00     -1.0
2021-05-07 20:25:00     -1.0
2021-05-07 20:26:00      0.0
2021-05-07 20:27:00     -1.0

Necesito agrupar este DataFrame en grupos de 3 en 3, para realizar la suma de la columna Estado.

He intentado usar resample(), de la siguiente manera.

datos_frecuencia["Estado"].resample("3min").sum()

2021-05-07 19:54:00    0
2021-05-07 19:57:00   -1
2021-05-07 20:00:00   -1
2021-05-07 20:03:00   -1
2021-05-07 20:06:00    0
2021-05-07 20:09:00   -1
2021-05-07 20:12:00    1
2021-05-07 20:15:00   -3
2021-05-07 20:18:00   -1
2021-05-07 20:21:00   -2
2021-05-07 20:24:00   -1
2021-05-07 20:27:00   -1

Pero el resultado no es el esperado, ya que de esta manera, resample() toma tiempos que en el DataFrame original no existe. Por ejemplo resample muestra: 2021-05-07 20:03:00 -1, cuando el minuto 3 de la hora 20, no se encuentra en el DataFrame principal.

Necesitaría que se agrupara de la siguiente manera, tomando la suma de la columna estado:

                        Estado
[2021-05-07 19:45:00     1.0
2021-05-07 19:46:00     -1.0
2021-05-07 19:47:00      0.0]

[2021-05-07 19:50:00    -1.0
2021-05-07 19:51:00      1.0
2021-05-07 19:52:00      1.0]

[2021-05-07 19:55:00     1.0
2021-05-07 19:56:00     -1.0
2021-05-07 19:57:00     -1.0]

[2021-05-07 20:00:00    -1.0
2021-05-07 20:01:00      1.0
2021-05-07 20:02:00     -1.0]

[2021-05-07 20:05:00    -1.0
2021-05-07 20:06:00      1.0
2021-05-07 20:07:00     -1.0]

[2021-05-07 20:10:00     0.0
2021-05-07 20:11:00     -1.0
2021-05-07 20:12:00      1.0]

[2021-05-07 20:15:00    -1.0
2021-05-07 20:16:00     -1.0
2021-05-07 20:17:00     -1.0]

[2021-05-07 20:20:00    -1.0
2021-05-07 20:21:00     -1.0
2021-05-07 20:22:00     -1.0]

[2021-05-07 20:25:00    -1.0
2021-05-07 20:26:00      0.0
2021-05-07 20:27:00     -1.0]

El resultado final deberia ser un dataFrame con los siguientes datos:

                        Estado
[2021-05-07 19:45:00     0.0]

[2021-05-07 19:50:00     1.0]

[2021-05-07 19:55:00    -1.0]

[2021-05-07 20:00:00    -1.0]

[2021-05-07 20:05:00    -1.0]

[2021-05-07 20:10:00     0.0]

[2021-05-07 20:15:00    -3.0]

[2021-05-07 20:20:00    -3.0]

[2021-05-07 20:25:00    -2.0]

¿Vosotr@s conocéis alguna función en Pandas, con la que pueda obtener este resultado?

2
  • Puedes hacerlo recorriendo el DF y escogiendo 3 valores DF[: 3] solo deberas remplazar esto por cada iteracion agregando 3
    – Christian
    Commented el 7 may. 2021 a las 23:41
  • Gracias Christian por tu comentario, la verdad lo tengo así, quisiera eliminar tantos ciclos (for) de mi código, me parece que pandas es más rápido en cuanto a iteraciones y visualmente es más agradable, el código queda más prolijo usando pandas. Commented el 13 may. 2021 a las 6:19

1 respuesta 1

0

No pude encontrar una solución, en una sola linea, así que se me ocurrió (inicialmente)...

Agrupar los datos por separado (fechas y sumas), y crear un nuevo DataFrame con estos datos.

A modo de ejemplo:

import numpy as np
import pandas as pd

# Crear el DataFrame
datos_frecuencia = pd.DataFrame([1,-1,0,-1,1,1,1,-1,-1], index=['2021-05-07 19:45:00', '2021-05-07 19:46:00', '2021-05-07 19:47:00', '2021-05-07 21:50:00', '2021-05-07 21:51:00', '2021-05-07 21:52:00', '2021-05-07 22:55:00', '2021-05-07 22:56:00', '2021-05-07 22:57:00'], columns=['Estado'])

# Agrupar y sumar los datos
suma = datos_frecuencia.groupby(np.array(range(9))//3).sum()

# Extraer las fechas
index = datos_frecuencia[[True, False, False]*3].index

# Crear un nuevo DataFrame
agrupacion = pd.DataFrame(suma['Estado'].tolist(), index=index, columns=['Suma'])

# Resultado
print(agrupacion)
                     Suma
2021-05-07 19:45:00     0
2021-05-07 21:50:00     1
2021-05-07 22:55:00    -1

Otra posible solución (Mucho más elegante!)

Es usar agg(), realiza todo el procedimiento en una sola linea. Lo que no me gusta es tener que convertir el index (DateTime) a un index (Integer)

Gracias a Julio Jesus https://datascience.stackexchange.com/questions/94320/grouping-with-non-sequential-index-datetime-pandas-python/94321#94321

Al inicio estaba muy bien explicada, pero ha sido tan editada... que ahora quedo inservible.

El código seria algo así:

import numpy as np
import pandas as pd

# Crear el DataFrame
datos_frecuencia = pd.DataFrame([1,-1,0,-1,1,1,1,-1,-1], index=['2021-05-07 19:45:00', '2021-05-07 19:46:00', '2021-05-07 19:47:00', '2021-05-07 21:50:00', '2021-05-07 21:51:00', '2021-05-07 21:52:00', '2021-05-07 22:55:00', '2021-05-07 22:56:00', '2021-05-07 22:57:00'], columns=['Estado'])

# Reiniciar el index, convierte el index (DateTime) en un index (Integer)
datos_frecuencia = datos_frecuencia.reset_index()

# Re-nombramos las columnas (OPCIONAL)
datos_frecuencia.columns = ['Fecha','Estado']

# La magia de Pandas!, agrupamos por una frecuencia de tres (datos_frecuencia.index//3).
# Agregamos agg() para usar más de operaciones sobre el grupo especificado.
# "Fecha":lambda x: x.head(3).min()    # Hacemos cabeceras de 3 filas y tomamos la menor
# "Estado":sum                         # Hacemos una suma de la columna 'Estado'

datos_frecuencia.groupby(datos_frecuencia.index // 3).agg({"Fecha":lambda x: x.head(3).min(),"Estado":sum})

Resultado:

                 Fecha  Estado
0  2021-05-07 19:45:00       0
1  2021-05-07 21:50:00       1
2  2021-05-07 22:55:00      -1

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.