1

Tengo un dataframe donde el índice es la fecha y hora y la columna es un valor numérico de temperatura obtenido en esa fecha y hora. Algo así:

           Temperature
Datetime    
2018-08-07 11:00:31 6.3
2018-08-07 11:10:31 11.4
2018-08-07 11:20:31 12.0
2018-08-07 11:30:31 13.7
2018-08-07 11:40:31 15.6
2018-08-07 11:50:31 13.6
2018-08-07 12:00:31 12.2
2018-08-07 12:10:31 11.2
2018-08-07 12:20:31 11.6
2018-08-07 12:30:31 12.4
2018-08-07 12:40:31 13.4
2018-08-07 12:50:31 13.2
2018-08-07 13:00:31 12.4
2018-08-07 13:10:31 11.7
2018-08-07 13:20:31 12.1
2018-08-07 13:30:31 11.8
2018-08-07 13:40:31 11.5
2018-08-07 13:50:31 10.9
2018-08-07 14:00:31 10.6
2018-08-07 14:10:31 10.4
2018-08-07 14:20:31 9.6
2018-08-07 14:30:31 9.0
2018-08-07 14:40:31 8.6
2018-08-07 14:50:31 8.1
2018-08-07 15:00:31 7.7
2018-08-07 15:10:31 7.3
2018-08-07 15:20:31 7.3
2018-08-07 15:30:31 8.8
2018-08-07 15:40:31 10.0
2018-08-07 15:50:31 11.3
2018-08-07 16:00:31 11.8
2018-08-07 16:10:31 12.3
2018-08-07 16:20:31 12.9
2018-08-07 16:30:31 13.2
2018-08-07 16:40:31 12.1
2018-08-07 16:50:31 11.1
2018-08-07 17:00:31 10.3
2018-08-07 17:10:31 9.6
2018-08-07 17:20:31 9.4
2018-08-07 17:30:31 8.7
2018-08-07 17:40:31 9.0
2018-08-07 17:50:31 8.3
2018-08-07 18:00:31 7.7
2018-08-07 18:10:31 6.8
2018-08-07 18:20:31 6.4
2018-08-07 18:30:31 5.8
2018-08-07 18:40:31 5.3
2018-08-07 18:50:31 5.2
2018-08-07 19:00:31 5.7
2018-08-07 19:10:31 6.8

Ahora mismo estoy en una fase en la que quiero clasificar el dataframe en función de:

  • Si en algún momento la temperatura ha estado por debajo de los 0ºC. [Hecho]
  • Si en algún momento la temperatura ha estado por encima de los 25ºC. [Hecho]
  • Si durante más de 30 minutos la temperatura ha estado entre 8 y 25ºC. [MI PROBLEMA]

Clasificar poniendo una temperatura cómo condición es sencillo.

df['T<0'] = np.where(df['Temperature'] < 0, 1, 0)
df['T>25'] = np.where(df['Temperature'] > 25, 1, 0)

Para luego hacer:

t0 = ((df['T<0']==1).any())
t25 = ((df['T>25']==1).any())

La cosa sería, ¿como si la temperatura ha estado entre 8 y 25 durante 30 minutos? Habia pensado primero etiquetar esos momentos donde se cumple el rango de temperaturas.

df['8>T>25'] = np.where(df['Temperature'] > 8, 1, 0) & np.where(df['Temperature'] < 25, 1, 0)

Y después mirar el tema de si cumple el tiempo comparando el tiempo actual con los tiempos previos, reseteando esta cuenta si la temperatura baja del rango. Pero la verdad no sale nada ni medio coherente. ¿Alguien podría orientarme en cómo hacerlo?

No muestro nada concreto porque no tengo nada ni medio aceptable. Me da la sensación por lo que he leido que quizás con DataFrame.rolling() se podría hacer algo, pero ya el tema de resetear si la temperatura baja de 8ºC me vuela la cabeza...

¡Muchas gracias!

1 respuesta 1

1

Es un problema interesante y más difícil de lo que a primera vista pensé. Me llevaste por un camino equivocado con tu sugerencia de usar .rolling(). Yo también pensé que eso podría llevar al resultado, pero en realidad planteaba muchas complicaciones, ya que .rolling() va creando ventanas que se solapan, por lo que si por ejemplo tienes 10 valores consecutivos dentro del rango de temperaturas buscado, separados a intervalos de 10 minutos, se van a producir 7 ventanas que darían temperaturas en ese rango (una para los tres primeros datos, otra al mover la ventana una muestra y abarcar otras tres filas, de las cuales las 2 primeras serían en realidad igual a las 2 últimas de la ventana anterior y así sucesivamente).

En definitiva, tras darle muchas vueltas con .rolling() no llegaba a nada.

Y encima después me di cuenta de que si tienes varias ventanas de 30 minutos seguidas en las que la temperatura está en ese rango, probablemente querrás agruparlas en un solo resultado. Es decir, si durante dos horas seguidas por ejemplo la temperatura es de 20 grados, querrás tener un solo grupo que abarque esa duración, y no cuatro grupos de media hora cada uno.

Solución

La solución que se me ha ocurrido consiste en lo siguiente:

  1. Etiquetar todas las filas que tengan una temperatura entre 8 y 25 (con un booleano)
  2. Asignar un "número de grupo" diferente a cada secuencia de True o False resultante del paso 1. Así, si comenzamos por tener digamos 5 filas con False, y luego 7 filas con True, habría 5 repeticiones de un 1, y luego 7 repeticiones de un 2, etc... Estos números (1, 2) van creciendo y sirven para etiquetar grupos diferentes de booleanos iguales. Por tanto etiquetan zonas en las que la temperatura estuvo dentro de ese rango durante varias muestras consecutivas, o bien estuvo fuera de ese rango durante varias muestras consecutivas
  3. Agrupar el dataframe original según los "números de grupo" antes formados, pero solo para los grupos que tengan un True en el booleano calculado en el punto 1. Es decir, creamos grupos separados para cada serie de filas consecutivas que hayan tenido la temperatura entre 8 y 25
  4. Iterar por los grupos resultantes e imprimir aquellos en los que la separación entre la primera y la última muestra sea superior a media hora.

Todo lo anterior se reduce a un par de líneas de código, pero bastante farragosas de comprender:

# Los datos de entrada están en df, que tiene como index el tipo datetime

grupos = pd.DataFrame()
grupos["booleano"] = df.Temperature.between(8, 25)
grupos["num_grupo"] = (grupos.booleano.shift() != grupos.booleano).cumsum()

for i, g in df.groupby(grupos[grupos.booleano].num_grupo):
  if (g.index[-1] - g.index[0]).total_seconds() >= 30*60:
    print(g)

Naturalmente, en vez de print() puedes meterlos en una lista, o guardarlos en ficheros csv, o lo que necesites.

Sobre tu serie de entrada, el código anterior genera dos grupos en la salida estándar, que se mostrarían así:

  • El primero:
                    Temperature
Date                            
2018-08-07 11:10:31         11.4
2018-08-07 11:20:31         12.0
2018-08-07 11:30:31         13.7
2018-08-07 11:40:31         15.6
2018-08-07 11:50:31         13.6
2018-08-07 12:00:31         12.2
2018-08-07 12:10:31         11.2
2018-08-07 12:20:31         11.6
2018-08-07 12:30:31         12.4
2018-08-07 12:40:31         13.4
2018-08-07 12:50:31         13.2
2018-08-07 13:00:31         12.4
2018-08-07 13:10:31         11.7
2018-08-07 13:20:31         12.1
2018-08-07 13:30:31         11.8
2018-08-07 13:40:31         11.5
2018-08-07 13:50:31         10.9
2018-08-07 14:00:31         10.6
2018-08-07 14:10:31         10.4
2018-08-07 14:20:31          9.6
2018-08-07 14:30:31          9.0
2018-08-07 14:40:31          8.6
2018-08-07 14:50:31          8.1
  • El segundo:
                     Temperature
Date                            
2018-08-07 15:30:31          8.8
2018-08-07 15:40:31         10.0
2018-08-07 15:50:31         11.3
2018-08-07 16:00:31         11.8
2018-08-07 16:10:31         12.3
2018-08-07 16:20:31         12.9
2018-08-07 16:30:31         13.2
2018-08-07 16:40:31         12.1
2018-08-07 16:50:31         11.1
2018-08-07 17:00:31         10.3
2018-08-07 17:10:31          9.6
2018-08-07 17:20:31          9.4
2018-08-07 17:30:31          8.7
2018-08-07 17:40:31          9.0
2018-08-07 17:50:31          8.3

He comprobado sobre tus datos de entrada que efectivamente ha funcionado. Esos son dos intervalos (de más de media hora) durante los cuales de forma consecutiva la temperatura ha estado entre 8º y 25º.

Nota He usado .between() para encontrar las filas que cumplen estar en el rango de temperaturas buscado. Esa función por defecto incluye ambos extremos por lo que en este caso se está seleccionando 8 <= temperatura <= 25. Si quieres omitir los extremos (esto es, quedarte solo con los que cumplan 8 < temperatura < 25), añade el parámetro inclusive="neither"

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.