Estoy trabajando con dos series en Pandas
. Radiación con datos cada minuto y Humedad con datos cada hora. Necesito hallar la forma de hacer los ciclos anuales y luego realizar un scatterplot, para ello necesito que mis dos series tengan la misma cantidad de datos y que sea cada hora. Mis datos de Radiación están cada minuto.
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from datetime import datetime, timedelta
import matplotlib.dates as mdates
import scipy.stats
Data = np.genfromtxt('6001_Pira_1.csv', dtype='str', delimiter=',')
Fecha_Hora = Data[:,1]
Radiacion = Data[:,2].astype(np.float)
Temperatura = Data[:,3].astype(np.float)
Calidad = Data[:,4].astype(np.float)
Radiacion_Filtrado = Radiacion[(Calidad == 1) | (Calidad == 2)]
Fecha_Hora_Filtrada = Fecha_Hora[(Calidad == 1) | (Calidad == 2)]
FechaHora_1 = []
for i in range(len(Fecha_Hora_Filtrada)):
tmp = Fecha_Hora_Filtrada[i]
Date = datetime.strptime(tmp, '%Y-%m-%d %H:%M:%S') - timedelta(hours=5)
FechaHora_1.append(Date)
Radiacion_Proyecto = pd.DataFrame(Radiacion_Filtrado,FechaHora_1)
Radiacion_Proyecto = Radiacion_Proyecto['2016-03':]
#Ciclos diurnos
Serie = Radiacion_Proyecto
Median = []
Mean = []
perc25 = []
perc_75 = []
perc_10 = []
perc_90 = []
for i in range(24):
**# Si fuera Ciclo Anual
# Data['2015-' + np.str(i)] # La i son los 12 meses (Contador)
#print i**
a = Serie.between_time(np.str(i)+':00', np.str(i)+':59')
a = a.values[np.isfinite(a.values)]
Median.append(np.median(a))
Mean.append(np.mean(a))
perc25.append(np.percentile(a,25))
perc_75.append(np.percentile(a,75))
perc_10.append(np.percentile(a,10))
perc_90.append(np.percentile(a,90))
**#Ciclo anual
# Si fuera Ciclo Anual
#for i in range(12):
FP = Serie(['2016 -' + np.str(i)])
#a = Serie.between_time(np.str(i)+':00', np.str(i)+':59')
# La i son los 12 meses (Contador)
#print i** **No se como hacerlo!**
____________________________________________________________________________________________
Data_Humedad = np.genfromtxt('Datos107_1H.csv', dtype='str', delimiter=',' )
Fechahora_Humedad = Data_Humedad[: , 0]
H2 = Data_Humedad[:, 1]
Humedad = []
Fecha_Hum = []
for i in range(len(H2)):
try:
Humedad.append(np.float(H2[i]))
Fecha_Hum.append(Fechahora_Humedad[i])
except:
pass
Humedad = np.array(Humedad)
Fecha_Hum = np.array(Fecha_Hum)
FechaHora_H = []
for i in range(len(Fecha_Hum)):
H = Fecha_Hum[i]
Date = datetime.strptime(H, '%Y-%m-%d %H:%M:%S')
FechaHora_H.append(Date)
Humedad_Proyecto = pd.DataFrame(Humedad, FechaHora_H)
Humedad_Proyecto = Humedad_Proyecto["2016-03":]
#Ciclos diurnos
Serie1 = Humedad_Proyecto
MedianH = []
MeanH = []
perc25H = []
perc_75H = []
perc_10H = []
perc_90H = []
for i in range(24):
# Si fuera Ciclo Anual
# Data['2015-' + np.str(i)] # La i son los 12 meses (Contador)
#print i
b = Serie1.between_time(np.str(i)+':00', np.str(i)+':00')
b = b.values[np.isfinite(b.values)]
MedianH.append(np.median(b))
MeanH.append(np.mean(b))
perc25H.append(np.percentile(b,25))
perc_75H.append(np.percentile(b,75))
perc_10H.append(np.percentile(b,10))
perc_90H.append(np.percentile(b,90))
________________________________________________________________________
# Las series deben tener la misma cantidad de registros
# Recortamos las series al máximo registro posible
Humedad_ProyectoR = Humedad_Proyecto['2016-03':'2016-11']
Radiacion_ProyectoR = Radiacion_Proyecto['2016-03':'2016-11']
Humedad_ProyectoR = Humedad_Proyecto['2012-03':'2016-11']
2016-03-01 00:00:00 60.211667
2016-03-01 01:00:00 60.880000
2016-03-01 02:00:00 60.496667
2016-03-01 03:00:00 60.733333
2016-03-01 04:00:00 60.455000
2016-03-01 05:00:00 60.011667
2016-03-01 06:00:00 60.675000
2016-03-01 07:00:00 60.638333
2016-03-01 08:00:00 60.790000
2016-03-01 09:00:00 60.018333
2016-03-01 10:00:00 60.021667
2016-03-01 11:00:00 60.165000
2016-03-01 12:00:00 60.568333
2016-03-01 13:00:00 61.191525
2016-03-01 14:00:00 60.666667
2016-03-01 15:00:00 59.481667
2016-03-01 16:00:00 60.790000
2016-03-01 17:00:00 60.156667
2016-11-29 23:00:00 41.416667
2016-11-30 00:00:00 41.348718
2016-11-30 01:00:00 41.324528
2016-11-30 06:00:00 41.115789
2016-11-30 07:00:00 41.098333
2016-11-30 08:00:00 41.009375
2016-11-30 09:00:00 40.831250
2016-11-30 10:00:00 40.660465
2016-11-30 11:00:00 40.451111
2016-11-30 12:00:00 40.275000
2016-11-30 13:00:00 40.130357
2016-11-30 14:00:00 40.035000
2016-11-30 15:00:00 40.003226
2016-11-30 16:00:00 39.950000
2016-11-30 17:00:00 39.964815
2016-11-30 18:00:00 39.960000
2016-11-30 19:00:00 39.918868
2016-11-30 20:00:00 39.900000
2016-11-30 21:00:00 39.887500
2016-11-30 22:00:00 39.882456
2016-11-30 23:00:00 39.883051
[5521 rows x 1 columns]
.
Radiacion_ProyectoR = Radiacion_Proyecto['2012-03':'2016-11']
2016-03-09 00:01:00 -1
2016-03-09 00:02:00 -1
2016-03-09 00:03:00 -1
2016-03-09 00:04:00 -1
2016-03-09 00:05:00 -1
2016-03-09 00:06:00 -1
2016-03-09 00:07:00 -1
2016-03-09 00:08:00 -1
2016-03-09 00:09:00 -1
2016-03-09 00:10:00 -1
2016-03-09 00:11:00 -1
2016-03-09 00:12:00 -1
2016-03-09 00:13:00 -1
2016-03-09 00:14:00 -1
2016-03-09 00:15:00 -1
2016-03-09 00:16:00 -2
2016-03-09 00:17:00 -2
2016-03-09 00:18:00 -2
2016-03-09 00:19:00 -2
2016-03-09 00:20:00 -2
2016-03-09 00:21:00 -2
2016-03-09 00:22:00 -2
2016-03-09 00:23:00 -2
2016-03-09 00:24:00 -2
2016-03-09 00:25:00 -2
2016-03-09 00:26:00 -1
2016-03-09 00:27:00 -1
2016-03-09 00:28:00 -1
2016-03-09 00:29:00 -1
2016-03-09 00:30:00 -1
... ...
2016-11-09 16:24:00 103
2016-11-09 16:25:00 105
2016-11-09 16:26:00 108
2016-11-09 16:27:00 110
2016-11-09 16:28:00 114
2016-11-09 16:29:00 117
2016-11-09 16:30:00 120
2016-11-09 16:31:00 121
2016-11-09 16:32:00 121
2016-11-09 16:33:00 120
2016-11-09 16:34:00 120
2016-11-09 16:35:00 118
2016-11-09 16:36:00 116
2016-11-09 16:37:00 114
2016-11-09 16:38:00 113
2016-11-09 16:39:00 112
2016-11-09 16:40:00 112
2016-11-09 16:41:00 113
2016-11-09 16:42:00 114
2016-11-09 16:43:00 116
2016-11-09 16:44:00 117
2016-11-09 16:45:00 117
2016-11-09 16:46:00 121
2016-11-09 16:47:00 131
2016-11-09 16:48:00 140
2016-11-09 16:49:00 148
2016-11-09 16:50:00 158
2016-11-09 16:51:00 164
2016-11-09 16:52:00 166
2016-11-09 16:53:00 162
[316305 rows x 1 columns]
Para pasar la serie de cada minuto a cada hora hago:
Radiacion_PHoras = Radiacion_ProyectoR.resample("1H", label="right").mean()
Pero solo me devuelve un dato:
Radiacion_PHoras
0 218.198817
dtype: float64
Además al hacer reindex todos mis datos se convierten en NaN
Radiacion_Final = Radiacion_PHoras.reindex(pd.date_range('2016-03-02 00:00','2016-11-08 00:00', freq='1H'))
¿Qué debo hacer? Me es necesario tener las dos series con la misma cantidad de datos.