Lo más simple creo que puede ser crear un DateTimeIndex uniendo la columnas fecha
y hora
en una sola. Hecho esto se puede usar pandas.DatetimeIndex
y pandas.DataFrame.reindex
o pandas.DataFrame.asfreq
para reindexar el DataFrame generando todas las filas faltantes.
Vamos simular un fichero csv mediante io.StringIO
:
import io
data = io.StringIO('''\
fecha,hora,dpre,vel,dirgr
01/01/2018,01:40,sur,3.9,100
01/01/2018,02:00,este,3.5,110
01/01/2018,04:00,oeste,2.9,112
01/01/2018,05:00,oeste,1.5,50
01/01/2018,23:00,norte,3.3,16
27/02/2018,21:00,sur,2.9,115
''')
Ahora podemos cargar el csv, pero vamos a unir ambas columnas en una sola y colocarla como indice (importante pasar dayfirst=True
porque por defecto intenta parsear las fechas de la forma mm/dd/aaaa):
import pandas as pd
df = pd.read_csv(data, dayfirst=True, index_col=0,
parse_dates = {'Fecha': ['fecha','hora']}
)
Lo cual nos genera el siguiente DataFrame:
dpre vel dirgr
Fecha
2018-01-01 01:40:00 sur 3.9 100
2018-01-01 02:00:00 este 3.5 110
2018-01-01 04:00:00 oeste 2.9 112
2018-01-01 05:00:00 oeste 1.5 50
2018-01-01 23:00:00 norte 3.3 16
2018-02-27 21:00:00 sur 2.9 115
Ahora vamos a crear todas las filas que falten para poder tener 24 filas por día (una por hora) y esto para todos los meses desde el primero que aparece hasta el último.
import datetime
import calendar
ultima_fecha = max(df.index)
ultimo_dia_mes = calendar.monthrange(ultima_fecha.year, ultima_fecha.month)[1]
inicio = min(df.index).replace(day=1, hour=0, minute=0, second=0)
fin = ultima_fecha.replace(day=ultimo_dia_mes, hour=23, minute=0, second=0)
index = pd.DatetimeIndex(start=inicio, end=fin, freq="1h")
df = df.reindex(index)
inicio
son las 00:00:00 horas del primer día del primer mes que aparece en el DataFrame. fin
son las 23:00:00 horas del último día del último mes que aparece en el DataFrame.
Esto nos da como resultado:
>>> df
dpre vel dirgr
2018-01-01 00:00:00 NaN NaN NaN
2018-01-01 01:00:00 NaN NaN NaN
2018-01-01 02:00:00 este 3.5 110.0
2018-01-01 03:00:00 NaN NaN NaN
2018-01-01 04:00:00 oeste 2.9 112.0
2018-01-01 05:00:00 oeste 1.5 50.0
2018-01-01 06:00:00 NaN NaN NaN
2018-01-01 07:00:00 NaN NaN NaN
2018-01-01 08:00:00 NaN NaN NaN
2018-01-01 09:00:00 NaN NaN NaN
2018-01-01 10:00:00 NaN NaN NaN
2018-01-01 11:00:00 NaN NaN NaN
2018-01-01 12:00:00 NaN NaN NaN
2018-01-01 13:00:00 NaN NaN NaN
2018-01-01 14:00:00 NaN NaN NaN
2018-01-01 15:00:00 NaN NaN NaN
2018-01-01 16:00:00 NaN NaN NaN
2018-01-01 17:00:00 NaN NaN NaN
2018-01-01 18:00:00 NaN NaN NaN
2018-01-01 19:00:00 NaN NaN NaN
2018-01-01 20:00:00 NaN NaN NaN
2018-01-01 21:00:00 NaN NaN NaN
2018-01-01 22:00:00 NaN NaN NaN
2018-01-01 23:00:00 norte 3.3 16.0
2018-01-02 00:00:00 NaN NaN NaN
2018-01-02 01:00:00 NaN NaN NaN
2018-01-02 02:00:00 NaN NaN NaN
2018-01-02 03:00:00 NaN NaN NaN
2018-01-02 04:00:00 NaN NaN NaN
2018-01-02 05:00:00 NaN NaN NaN
... ... ... ...
2018-02-27 18:00:00 NaN NaN NaN
2018-02-27 19:00:00 NaN NaN NaN
2018-02-27 20:00:00 NaN NaN NaN
2018-02-27 21:00:00 sur 2.9 115.0
2018-02-27 22:00:00 NaN NaN NaN
2018-02-27 23:00:00 NaN NaN NaN
2018-02-28 00:00:00 NaN NaN NaN
2018-02-28 01:00:00 NaN NaN NaN
2018-02-28 02:00:00 NaN NaN NaN
2018-02-28 03:00:00 NaN NaN NaN
2018-02-28 04:00:00 NaN NaN NaN
2018-02-28 05:00:00 NaN NaN NaN
2018-02-28 06:00:00 NaN NaN NaN
2018-02-28 07:00:00 NaN NaN NaN
2018-02-28 08:00:00 NaN NaN NaN
2018-02-28 09:00:00 NaN NaN NaN
2018-02-28 10:00:00 NaN NaN NaN
2018-02-28 11:00:00 NaN NaN NaN
2018-02-28 12:00:00 NaN NaN NaN
2018-02-28 13:00:00 NaN NaN NaN
2018-02-28 14:00:00 NaN NaN NaN
2018-02-28 15:00:00 NaN NaN NaN
2018-02-28 16:00:00 NaN NaN NaN
2018-02-28 17:00:00 NaN NaN NaN
2018-02-28 18:00:00 NaN NaN NaN
2018-02-28 19:00:00 NaN NaN NaN
2018-02-28 20:00:00 NaN NaN NaN
2018-02-28 21:00:00 NaN NaN NaN
2018-02-28 22:00:00 NaN NaN NaN
2018-02-28 23:00:00 NaN NaN NaN
[1416 rows x 3 columns]
Si por lo que sea no queremos tener la fecha y la hora en una misma columna siempre podemos volver a crear ambas columnas a partir del indice y resetear este último:
df.insert(0, "hora", df.index.time)
df.insert(0, "fecha", df.index.date)
df.reset_index(inplace=True, drop=True)
Con lo que obtenemos:
>>> df
fecha hora dpre vel dirgr
0 2018-01-01 00:00:00 NaN NaN NaN
1 2018-01-01 01:00:00 NaN NaN NaN
2 2018-01-01 02:00:00 este 3.5 110.0
3 2018-01-01 03:00:00 NaN NaN NaN
4 2018-01-01 04:00:00 oeste 2.9 112.0
5 2018-01-01 05:00:00 oeste 1.5 50.0
6 2018-01-01 06:00:00 NaN NaN NaN
7 2018-01-01 07:00:00 NaN NaN NaN
8 2018-01-01 08:00:00 NaN NaN NaN
9 2018-01-01 09:00:00 NaN NaN NaN
10 2018-01-01 10:00:00 NaN NaN NaN
11 2018-01-01 11:00:00 NaN NaN NaN
12 2018-01-01 12:00:00 NaN NaN NaN
13 2018-01-01 13:00:00 NaN NaN NaN
14 2018-01-01 14:00:00 NaN NaN NaN
15 2018-01-01 15:00:00 NaN NaN NaN
16 2018-01-01 16:00:00 NaN NaN NaN
17 2018-01-01 17:00:00 NaN NaN NaN
18 2018-01-01 18:00:00 NaN NaN NaN
19 2018-01-01 19:00:00 NaN NaN NaN
20 2018-01-01 20:00:00 NaN NaN NaN
21 2018-01-01 21:00:00 NaN NaN NaN
22 2018-01-01 22:00:00 NaN NaN NaN
23 2018-01-01 23:00:00 norte 3.3 16.0
24 2018-01-02 00:00:00 NaN NaN NaN
25 2018-01-02 01:00:00 NaN NaN NaN
26 2018-01-02 02:00:00 NaN NaN NaN
27 2018-01-02 03:00:00 NaN NaN NaN
28 2018-01-02 04:00:00 NaN NaN NaN
29 2018-01-02 05:00:00 NaN NaN NaN
... ... ... ... ... ...
1386 2018-02-27 18:00:00 NaN NaN NaN
1387 2018-02-27 19:00:00 NaN NaN NaN
1388 2018-02-27 20:00:00 NaN NaN NaN
1389 2018-02-27 21:00:00 sur 2.9 115.0
1390 2018-02-27 22:00:00 NaN NaN NaN
1391 2018-02-27 23:00:00 NaN NaN NaN
1392 2018-02-28 00:00:00 NaN NaN NaN
1393 2018-02-28 01:00:00 NaN NaN NaN
1394 2018-02-28 02:00:00 NaN NaN NaN
1395 2018-02-28 03:00:00 NaN NaN NaN
1396 2018-02-28 04:00:00 NaN NaN NaN
1397 2018-02-28 05:00:00 NaN NaN NaN
1398 2018-02-28 06:00:00 NaN NaN NaN
1399 2018-02-28 07:00:00 NaN NaN NaN
1400 2018-02-28 08:00:00 NaN NaN NaN
1401 2018-02-28 09:00:00 NaN NaN NaN
1402 2018-02-28 10:00:00 NaN NaN NaN
1403 2018-02-28 11:00:00 NaN NaN NaN
1404 2018-02-28 12:00:00 NaN NaN NaN
1405 2018-02-28 13:00:00 NaN NaN NaN
1406 2018-02-28 14:00:00 NaN NaN NaN
1407 2018-02-28 15:00:00 NaN NaN NaN
1408 2018-02-28 16:00:00 NaN NaN NaN
1409 2018-02-28 17:00:00 NaN NaN NaN
1410 2018-02-28 18:00:00 NaN NaN NaN
1411 2018-02-28 19:00:00 NaN NaN NaN
1412 2018-02-28 20:00:00 NaN NaN NaN
1413 2018-02-28 21:00:00 NaN NaN NaN
1414 2018-02-28 22:00:00 NaN NaN NaN
1415 2018-02-28 23:00:00 NaN NaN NaN
[1416 rows x 5 columns]
Nota: Tener en cuenta que se generan 8760 o 8784 filas por año, si nuestro DataFrame abarcara múltimples años hay que tenerlo en cuanta por poder incurrir en falta de memoria.
EDICIÓN
Python y Pandas para el formato 24-horas (%H
) aceptan horas en el rango 0..23. Dado que tienes horas de la forma 24:00:00 el parseado a datetime
falla.
Si no tienes forma de corregir esto en origen al crear el csv, la opción es crear una función propia que se encargue de formatear las fechas, aunque ten en cuenta que esto significa una merma de eficiencia en la carga del csv:
import io
import pandas as pd
import datetime
import calendar
data = io.StringIO('''\
fecha,hora,dpre,vel,dirgr
01/01/2018,02:40,sur,3.9,100
01/01/2018,02:00,este,3.5,110
01/01/2018,04:00,oeste,2.9,112
01/01/2018,05:00,oeste,1.5,50
01/01/2018,24:00:00,norte,3.3,16
27/02/2018,00:40,sur,2.9,115
''')
def date_parse(cad):
try:
return pd.to_datetime(cad, dayfirst=True)
except ValueError:
date = pd.to_datetime(cad.split(" ", 1)[0] + " 00:00", dayfirst=True)
date += datetime.timedelta(days=1)
return date
df = pd.read_csv(data, index_col=0,
date_parser = date_parse,
parse_dates = {'Fecha': ['fecha','hora']},
)
Esto permite pasar la fecha 01/01/2018 24:00:00
a 02/01/2018 00:00:00
formato aceptado sin problemas. Con lo que obtenemos el siguiente DF:
dpre vel dirgr
Fecha
2018-01-01 02:40:00 sur 3.9 100
2018-01-01 02:00:00 este 3.5 110
2018-01-01 04:00:00 oeste 2.9 112
2018-01-01 05:00:00 oeste 1.5 50
2018-01-02 00:00:00 norte 3.3 16
2018-02-27 00:40:00 sur 2.9 115
Ahora podemos continuar a partir de aquí con el código anterior para crear las filas faltantes.