1

Estoy trabajando con dos series en Pandas. Radiación con datos cada minuto y Humedad con datos cada hora. Necesito hallar la forma de hacer los ciclos anuales y luego realizar un scatterplot, para ello necesito que mis dos series tengan la misma cantidad de datos y que sea cada hora. Mis datos de Radiación están cada minuto.

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from datetime import datetime, timedelta
import matplotlib.dates as mdates
import scipy.stats

Data = np.genfromtxt('6001_Pira_1.csv', dtype='str', delimiter=',')

Fecha_Hora = Data[:,1]
Radiacion = Data[:,2].astype(np.float)
Temperatura = Data[:,3].astype(np.float)
Calidad = Data[:,4].astype(np.float)

Radiacion_Filtrado = Radiacion[(Calidad == 1) | (Calidad == 2)]
Fecha_Hora_Filtrada = Fecha_Hora[(Calidad == 1) | (Calidad == 2)]

FechaHora_1 = []
for i in range(len(Fecha_Hora_Filtrada)):
tmp  = Fecha_Hora_Filtrada[i] 
Date = datetime.strptime(tmp, '%Y-%m-%d %H:%M:%S') - timedelta(hours=5)
FechaHora_1.append(Date)


Radiacion_Proyecto = pd.DataFrame(Radiacion_Filtrado,FechaHora_1)

Radiacion_Proyecto = Radiacion_Proyecto['2016-03':]

#Ciclos diurnos 

Serie = Radiacion_Proyecto

Median  = []
Mean    = []
perc25  = []
perc_75 = []
perc_10 = []
perc_90 = []

for i in range(24):

**# Si fuera Ciclo Anual
# Data['2015-' + np.str(i)] # La i son los 12 meses (Contador)
#print i** 

a = Serie.between_time(np.str(i)+':00', np.str(i)+':59')
a = a.values[np.isfinite(a.values)]
Median.append(np.median(a))
Mean.append(np.mean(a))
perc25.append(np.percentile(a,25))
perc_75.append(np.percentile(a,75))
perc_10.append(np.percentile(a,10))
perc_90.append(np.percentile(a,90)) 

**#Ciclo anual
# Si fuera Ciclo Anual
#for i in range(12): 
FP = Serie(['2016 -' + np.str(i)])
#a = Serie.between_time(np.str(i)+':00', np.str(i)+':59')
# La i son los 12 meses (Contador)
#print i** **No se como hacerlo!**

____________________________________________________________________________________________

 Data_Humedad = np.genfromtxt('Datos107_1H.csv', dtype='str', delimiter=',' )

 Fechahora_Humedad = Data_Humedad[: , 0]
 H2 = Data_Humedad[:, 1]


 Humedad = []
 Fecha_Hum = []
 for i in range(len(H2)):
 try:
    Humedad.append(np.float(H2[i]))
    Fecha_Hum.append(Fechahora_Humedad[i])
 except:
    pass

 Humedad = np.array(Humedad)
 Fecha_Hum = np.array(Fecha_Hum)

 FechaHora_H = []
 for i in range(len(Fecha_Hum)):
 H  = Fecha_Hum[i] 
 Date = datetime.strptime(H, '%Y-%m-%d %H:%M:%S')
 FechaHora_H.append(Date)


 Humedad_Proyecto = pd.DataFrame(Humedad, FechaHora_H)
 Humedad_Proyecto = Humedad_Proyecto["2016-03":]


 #Ciclos diurnos 

 Serie1 = Humedad_Proyecto

 MedianH  = []
 MeanH   = []
 perc25H  = []
 perc_75H = []
 perc_10H = []
 perc_90H = []

 for i in range(24):
 # Si fuera Ciclo Anual
 # Data['2015-' + np.str(i)] # La i son los 12 meses (Contador)
 #print i 
 b = Serie1.between_time(np.str(i)+':00', np.str(i)+':00')
 b = b.values[np.isfinite(b.values)]
 MedianH.append(np.median(b))
 MeanH.append(np.mean(b))
 perc25H.append(np.percentile(b,25))
 perc_75H.append(np.percentile(b,75))
 perc_10H.append(np.percentile(b,10))
 perc_90H.append(np.percentile(b,90)) 

________________________________________________________________________

 # Las series deben tener la misma cantidad de registros
 # Recortamos las series al máximo registro posible
 Humedad_ProyectoR  = Humedad_Proyecto['2016-03':'2016-11']
 Radiacion_ProyectoR    = Radiacion_Proyecto['2016-03':'2016-11']

 Humedad_ProyectoR  = Humedad_Proyecto['2012-03':'2016-11']

2016-03-01 00:00:00  60.211667
2016-03-01 01:00:00  60.880000
2016-03-01 02:00:00  60.496667
2016-03-01 03:00:00  60.733333
2016-03-01 04:00:00  60.455000
2016-03-01 05:00:00  60.011667
2016-03-01 06:00:00  60.675000
2016-03-01 07:00:00  60.638333
2016-03-01 08:00:00  60.790000
2016-03-01 09:00:00  60.018333
2016-03-01 10:00:00  60.021667
2016-03-01 11:00:00  60.165000
2016-03-01 12:00:00  60.568333
2016-03-01 13:00:00  61.191525
2016-03-01 14:00:00  60.666667
2016-03-01 15:00:00  59.481667
2016-03-01 16:00:00  60.790000
2016-03-01 17:00:00  60.156667
2016-11-29 23:00:00  41.416667
2016-11-30 00:00:00  41.348718
2016-11-30 01:00:00  41.324528
2016-11-30 06:00:00  41.115789
2016-11-30 07:00:00  41.098333
2016-11-30 08:00:00  41.009375
2016-11-30 09:00:00  40.831250
2016-11-30 10:00:00  40.660465
2016-11-30 11:00:00  40.451111
2016-11-30 12:00:00  40.275000
2016-11-30 13:00:00  40.130357
2016-11-30 14:00:00  40.035000
2016-11-30 15:00:00  40.003226
2016-11-30 16:00:00  39.950000
2016-11-30 17:00:00  39.964815
2016-11-30 18:00:00  39.960000
2016-11-30 19:00:00  39.918868
2016-11-30 20:00:00  39.900000
2016-11-30 21:00:00  39.887500
2016-11-30 22:00:00  39.882456
2016-11-30 23:00:00  39.883051

[5521 rows x 1 columns]

.

Radiacion_ProyectoR = Radiacion_Proyecto['2012-03':'2016-11']

2016-03-09 00:01:00   -1
2016-03-09 00:02:00   -1
2016-03-09 00:03:00   -1
2016-03-09 00:04:00   -1
2016-03-09 00:05:00   -1
2016-03-09 00:06:00   -1
2016-03-09 00:07:00   -1
2016-03-09 00:08:00   -1
2016-03-09 00:09:00   -1
2016-03-09 00:10:00   -1
2016-03-09 00:11:00   -1
2016-03-09 00:12:00   -1
2016-03-09 00:13:00   -1
2016-03-09 00:14:00   -1
2016-03-09 00:15:00   -1
2016-03-09 00:16:00   -2
2016-03-09 00:17:00   -2
2016-03-09 00:18:00   -2
2016-03-09 00:19:00   -2
2016-03-09 00:20:00   -2
2016-03-09 00:21:00   -2
2016-03-09 00:22:00   -2
2016-03-09 00:23:00   -2
2016-03-09 00:24:00   -2
2016-03-09 00:25:00   -2
2016-03-09 00:26:00   -1
2016-03-09 00:27:00   -1
2016-03-09 00:28:00   -1
2016-03-09 00:29:00   -1
2016-03-09 00:30:00   -1
...                  ...
2016-11-09 16:24:00  103
2016-11-09 16:25:00  105
2016-11-09 16:26:00  108
2016-11-09 16:27:00  110
2016-11-09 16:28:00  114
2016-11-09 16:29:00  117
2016-11-09 16:30:00  120
2016-11-09 16:31:00  121
2016-11-09 16:32:00  121
2016-11-09 16:33:00  120
2016-11-09 16:34:00  120
2016-11-09 16:35:00  118
2016-11-09 16:36:00  116
2016-11-09 16:37:00  114
2016-11-09 16:38:00  113
2016-11-09 16:39:00  112
2016-11-09 16:40:00  112
2016-11-09 16:41:00  113
2016-11-09 16:42:00  114
2016-11-09 16:43:00  116
2016-11-09 16:44:00  117
2016-11-09 16:45:00  117
2016-11-09 16:46:00  121
2016-11-09 16:47:00  131
2016-11-09 16:48:00  140
2016-11-09 16:49:00  148
2016-11-09 16:50:00  158
2016-11-09 16:51:00  164
2016-11-09 16:52:00  166
2016-11-09 16:53:00  162

[316305 rows x 1 columns]

Para pasar la serie de cada minuto a cada hora hago:

Radiacion_PHoras = Radiacion_ProyectoR.resample("1H", label="right").mean()

Pero solo me devuelve un dato:

Radiacion_PHoras
0    218.198817
dtype: float64

Además al hacer reindex todos mis datos se convierten en NaN

Radiacion_Final = Radiacion_PHoras.reindex(pd.date_range('2016-03-02 00:00','2016-11-08 00:00', freq='1H'))

¿Qué debo hacer? Me es necesario tener las dos series con la misma cantidad de datos.

1
  • 1
    ¿Estás usando Pandas verdad?, deberias especificar con que librería trabajas e indicarlo como etiqueta. Además tampoco vendría mal una muestra de los datos y de la estructura de tabulación para poder ayudarte mejor.
    – FJSevilla
    Commented el 9 dic. 2016 a las 18:41

1 respuesta 1

0

Buen día,

Puedes utilizar el método pandas.DataFrame.resample

Tomando como ejemplo este fragmento de tu dataframe

                    valor
fecha   
2016-03-09 00:01:00 -1
2016-03-09 00:02:00 -1
2016-03-09 00:03:00 -1
2016-03-09 00:04:00 -1
2016-03-09 00:05:00 -1
2016-03-09 00:06:00 -1
2016-03-09 00:07:00 -1
2016-03-09 00:08:00 -1
2016-03-09 00:09:00 -1
2016-03-09 00:10:00 -1
2016-03-09 00:11:00 -1
2016-03-09 00:12:00 -1
2016-03-09 00:13:00 -1
2016-03-09 00:14:00 -1
2016-03-09 00:15:00 -1
2016-03-09 00:16:00 -2
2016-03-09 00:17:00 -2
2016-03-09 00:18:00 -2
2016-03-09 00:19:00 -2
2016-03-09 00:20:00 -2
2016-03-09 00:21:00 -2
2016-03-09 00:22:00 -2
2016-03-09 00:23:00 -2
2016-03-09 00:24:00 -2
2016-03-09 00:25:00 -2
2016-03-09 00:26:00 -1
2016-03-09 00:27:00 -1
2016-03-09 00:28:00 -1
2016-03-09 00:29:00 -1
2016-03-09 00:30:00 -1

Vamos a obtener el promedio cada 10 minutos (Como no tengo todos los datos lo hice con 10 min, tendrías que modificarlo en tu programa)

df1 = df.resample('10Min').mean()

Al imprimir df1 obtenemos

                    valor
fecha   
2016-03-09 00:00:00 -1.0
2016-03-09 00:10:00 -1.4
2016-03-09 00:20:00 -1.6
2016-03-09 00:30:00 -1.0

Para que esto funcione de forma correcta es necesario que el índice sea de tipo DatetimeIndex, PeriodIndex, o TimedeltaIndex

Ejemplo completo:

import pandas as pd

df = pd.read_csv('sample2.csv', index_col='fecha')
df.index= pd.to_datetime(df.index)
df1 = df.resample('10Min').mean()
print(df1)

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.