2

Estoy trabajando con unos datos de una estación meteorológica en la cual los datos vienen distribuidos por columnas en día con 24 horas, dirección predominante,viento dirección en grados

El problema es que hay días, inclusive meses completos, que no vienen y lo que necesito es buscar esas fechas faltantes, crearlas para cada columna y rellenar con Nan. He estado intentando con Pandas pero no lo logro, los datos vienen mas o menos así:

fecha hora dpre vel dirgr
01/01/2018 01:00 sur 3.9 156 

introducir la descripción de la imagen aquí

Esta es una muestra de los datos.

4
  • 1
    ¿La fecha es el índice de tu DataFrame?¿La hora para las fechas faltantes ha de ser NaN también?¿Un mismo día puede tener varias lecturas (mismo día distintas horas)?
    – FJSevilla
    el 16 abr. 2018 a las 19:55
  • las horas deben ser las 24 horas diarias, y el día tiene lecturas cada hora(las 24), de direcciones y velocidad, a que se refiere con el índice?
    – Jose.P
    el 16 abr. 2018 a las 20:02
  • ¿Entonces al final para cada día has de tener 24 filas p.e (01/01/2018 00:00, 01/01/2018 01:00, 01/01/2018 02:00, 01/01/2018 03:00, ...., 01/01/2018 23:00)?. ¿La fecha es dia/mes/año o mes/año/día? Con indice me refiero al indice del DataFrame que identifica cada fila, puede ser una columna (en este caso un DatetimeIndex) o si no se especifica nada será un RangeIndex que empieza en 0. ¿Cargas el DataFrame de un csv? En mi opinión la forma más simple de hacer esto es uniendo las columnas fecha y hora en una sola y usarla como DateTimeIndex,, añadir las filas que faltan es trivial hecho esto.
    – FJSevilla
    el 16 abr. 2018 a las 20:32
  • el formato es día/mes/año, y si para cada día se tiene 24 filas, si el índice es fecha, si se carga desde un csv.
    – Jose.P
    el 16 abr. 2018 a las 20:40

1 respuesta 1

1

Lo más simple creo que puede ser crear un DateTimeIndex uniendo la columnas fecha y hora en una sola. Hecho esto se puede usar pandas.DatetimeIndex y pandas.DataFrame.reindex o pandas.DataFrame.asfreq para reindexar el DataFrame generando todas las filas faltantes.

Vamos simular un fichero csv mediante io.StringIO:

import io

data = io.StringIO('''\
fecha,hora,dpre,vel,dirgr
01/01/2018,01:40,sur,3.9,100
01/01/2018,02:00,este,3.5,110
01/01/2018,04:00,oeste,2.9,112
01/01/2018,05:00,oeste,1.5,50
01/01/2018,23:00,norte,3.3,16
27/02/2018,21:00,sur,2.9,115
''')

Ahora podemos cargar el csv, pero vamos a unir ambas columnas en una sola y colocarla como indice (importante pasar dayfirst=True porque por defecto intenta parsear las fechas de la forma mm/dd/aaaa):

import pandas as pd

df = pd.read_csv(data, dayfirst=True, index_col=0,
                 parse_dates = {'Fecha': ['fecha','hora']}
                 )

Lo cual nos genera el siguiente DataFrame:

                      dpre  vel  dirgr
Fecha                                 
2018-01-01 01:40:00    sur  3.9    100
2018-01-01 02:00:00   este  3.5    110
2018-01-01 04:00:00  oeste  2.9    112
2018-01-01 05:00:00  oeste  1.5     50
2018-01-01 23:00:00  norte  3.3     16
2018-02-27 21:00:00    sur  2.9    115

Ahora vamos a crear todas las filas que falten para poder tener 24 filas por día (una por hora) y esto para todos los meses desde el primero que aparece hasta el último.

import datetime
import calendar

ultima_fecha = max(df.index)
ultimo_dia_mes = calendar.monthrange(ultima_fecha.year, ultima_fecha.month)[1]
inicio = min(df.index).replace(day=1, hour=0, minute=0, second=0)
fin = ultima_fecha.replace(day=ultimo_dia_mes, hour=23, minute=0, second=0)

index = pd.DatetimeIndex(start=inicio, end=fin, freq="1h")
df = df.reindex(index)

inicio son las 00:00:00 horas del primer día del primer mes que aparece en el DataFrame. fin son las 23:00:00 horas del último día del último mes que aparece en el DataFrame.

Esto nos da como resultado:

>>> df
                      dpre  vel  dirgr
2018-01-01 00:00:00    NaN  NaN    NaN
2018-01-01 01:00:00    NaN  NaN    NaN
2018-01-01 02:00:00   este  3.5  110.0
2018-01-01 03:00:00    NaN  NaN    NaN
2018-01-01 04:00:00  oeste  2.9  112.0
2018-01-01 05:00:00  oeste  1.5   50.0
2018-01-01 06:00:00    NaN  NaN    NaN
2018-01-01 07:00:00    NaN  NaN    NaN
2018-01-01 08:00:00    NaN  NaN    NaN
2018-01-01 09:00:00    NaN  NaN    NaN
2018-01-01 10:00:00    NaN  NaN    NaN
2018-01-01 11:00:00    NaN  NaN    NaN
2018-01-01 12:00:00    NaN  NaN    NaN
2018-01-01 13:00:00    NaN  NaN    NaN
2018-01-01 14:00:00    NaN  NaN    NaN
2018-01-01 15:00:00    NaN  NaN    NaN
2018-01-01 16:00:00    NaN  NaN    NaN
2018-01-01 17:00:00    NaN  NaN    NaN
2018-01-01 18:00:00    NaN  NaN    NaN
2018-01-01 19:00:00    NaN  NaN    NaN
2018-01-01 20:00:00    NaN  NaN    NaN
2018-01-01 21:00:00    NaN  NaN    NaN
2018-01-01 22:00:00    NaN  NaN    NaN
2018-01-01 23:00:00  norte  3.3   16.0
2018-01-02 00:00:00    NaN  NaN    NaN
2018-01-02 01:00:00    NaN  NaN    NaN
2018-01-02 02:00:00    NaN  NaN    NaN
2018-01-02 03:00:00    NaN  NaN    NaN
2018-01-02 04:00:00    NaN  NaN    NaN
2018-01-02 05:00:00    NaN  NaN    NaN
...                    ...  ...    ...
2018-02-27 18:00:00    NaN  NaN    NaN
2018-02-27 19:00:00    NaN  NaN    NaN
2018-02-27 20:00:00    NaN  NaN    NaN
2018-02-27 21:00:00    sur  2.9  115.0
2018-02-27 22:00:00    NaN  NaN    NaN
2018-02-27 23:00:00    NaN  NaN    NaN
2018-02-28 00:00:00    NaN  NaN    NaN
2018-02-28 01:00:00    NaN  NaN    NaN
2018-02-28 02:00:00    NaN  NaN    NaN
2018-02-28 03:00:00    NaN  NaN    NaN
2018-02-28 04:00:00    NaN  NaN    NaN
2018-02-28 05:00:00    NaN  NaN    NaN
2018-02-28 06:00:00    NaN  NaN    NaN
2018-02-28 07:00:00    NaN  NaN    NaN
2018-02-28 08:00:00    NaN  NaN    NaN
2018-02-28 09:00:00    NaN  NaN    NaN
2018-02-28 10:00:00    NaN  NaN    NaN
2018-02-28 11:00:00    NaN  NaN    NaN
2018-02-28 12:00:00    NaN  NaN    NaN
2018-02-28 13:00:00    NaN  NaN    NaN
2018-02-28 14:00:00    NaN  NaN    NaN
2018-02-28 15:00:00    NaN  NaN    NaN
2018-02-28 16:00:00    NaN  NaN    NaN
2018-02-28 17:00:00    NaN  NaN    NaN
2018-02-28 18:00:00    NaN  NaN    NaN
2018-02-28 19:00:00    NaN  NaN    NaN
2018-02-28 20:00:00    NaN  NaN    NaN
2018-02-28 21:00:00    NaN  NaN    NaN
2018-02-28 22:00:00    NaN  NaN    NaN
2018-02-28 23:00:00    NaN  NaN    NaN

[1416 rows x 3 columns]

Si por lo que sea no queremos tener la fecha y la hora en una misma columna siempre podemos volver a crear ambas columnas a partir del indice y resetear este último:

df.insert(0, "hora", df.index.time)
df.insert(0, "fecha", df.index.date)
df.reset_index(inplace=True, drop=True)

Con lo que obtenemos:

>>> df
           fecha      hora   dpre  vel  dirgr
0     2018-01-01  00:00:00    NaN  NaN    NaN
1     2018-01-01  01:00:00    NaN  NaN    NaN
2     2018-01-01  02:00:00   este  3.5  110.0
3     2018-01-01  03:00:00    NaN  NaN    NaN
4     2018-01-01  04:00:00  oeste  2.9  112.0
5     2018-01-01  05:00:00  oeste  1.5   50.0
6     2018-01-01  06:00:00    NaN  NaN    NaN
7     2018-01-01  07:00:00    NaN  NaN    NaN
8     2018-01-01  08:00:00    NaN  NaN    NaN
9     2018-01-01  09:00:00    NaN  NaN    NaN
10    2018-01-01  10:00:00    NaN  NaN    NaN
11    2018-01-01  11:00:00    NaN  NaN    NaN
12    2018-01-01  12:00:00    NaN  NaN    NaN
13    2018-01-01  13:00:00    NaN  NaN    NaN
14    2018-01-01  14:00:00    NaN  NaN    NaN
15    2018-01-01  15:00:00    NaN  NaN    NaN
16    2018-01-01  16:00:00    NaN  NaN    NaN
17    2018-01-01  17:00:00    NaN  NaN    NaN
18    2018-01-01  18:00:00    NaN  NaN    NaN
19    2018-01-01  19:00:00    NaN  NaN    NaN
20    2018-01-01  20:00:00    NaN  NaN    NaN
21    2018-01-01  21:00:00    NaN  NaN    NaN
22    2018-01-01  22:00:00    NaN  NaN    NaN
23    2018-01-01  23:00:00  norte  3.3   16.0
24    2018-01-02  00:00:00    NaN  NaN    NaN
25    2018-01-02  01:00:00    NaN  NaN    NaN
26    2018-01-02  02:00:00    NaN  NaN    NaN
27    2018-01-02  03:00:00    NaN  NaN    NaN
28    2018-01-02  04:00:00    NaN  NaN    NaN
29    2018-01-02  05:00:00    NaN  NaN    NaN
...          ...       ...    ...  ...    ...
1386  2018-02-27  18:00:00    NaN  NaN    NaN
1387  2018-02-27  19:00:00    NaN  NaN    NaN
1388  2018-02-27  20:00:00    NaN  NaN    NaN
1389  2018-02-27  21:00:00    sur  2.9  115.0
1390  2018-02-27  22:00:00    NaN  NaN    NaN
1391  2018-02-27  23:00:00    NaN  NaN    NaN
1392  2018-02-28  00:00:00    NaN  NaN    NaN
1393  2018-02-28  01:00:00    NaN  NaN    NaN
1394  2018-02-28  02:00:00    NaN  NaN    NaN
1395  2018-02-28  03:00:00    NaN  NaN    NaN
1396  2018-02-28  04:00:00    NaN  NaN    NaN
1397  2018-02-28  05:00:00    NaN  NaN    NaN
1398  2018-02-28  06:00:00    NaN  NaN    NaN
1399  2018-02-28  07:00:00    NaN  NaN    NaN
1400  2018-02-28  08:00:00    NaN  NaN    NaN
1401  2018-02-28  09:00:00    NaN  NaN    NaN
1402  2018-02-28  10:00:00    NaN  NaN    NaN
1403  2018-02-28  11:00:00    NaN  NaN    NaN
1404  2018-02-28  12:00:00    NaN  NaN    NaN
1405  2018-02-28  13:00:00    NaN  NaN    NaN
1406  2018-02-28  14:00:00    NaN  NaN    NaN
1407  2018-02-28  15:00:00    NaN  NaN    NaN
1408  2018-02-28  16:00:00    NaN  NaN    NaN
1409  2018-02-28  17:00:00    NaN  NaN    NaN
1410  2018-02-28  18:00:00    NaN  NaN    NaN
1411  2018-02-28  19:00:00    NaN  NaN    NaN
1412  2018-02-28  20:00:00    NaN  NaN    NaN
1413  2018-02-28  21:00:00    NaN  NaN    NaN
1414  2018-02-28  22:00:00    NaN  NaN    NaN
1415  2018-02-28  23:00:00    NaN  NaN    NaN

[1416 rows x 5 columns]

Nota: Tener en cuenta que se generan 8760 o 8784 filas por año, si nuestro DataFrame abarcara múltimples años hay que tenerlo en cuanta por poder incurrir en falta de memoria.


EDICIÓN

Python y Pandas para el formato 24-horas (%H) aceptan horas en el rango 0..23. Dado que tienes horas de la forma 24:00:00 el parseado a datetime falla.

Si no tienes forma de corregir esto en origen al crear el csv, la opción es crear una función propia que se encargue de formatear las fechas, aunque ten en cuenta que esto significa una merma de eficiencia en la carga del csv:

import io
import pandas as pd
import datetime
import calendar


data = io.StringIO('''\
fecha,hora,dpre,vel,dirgr
01/01/2018,02:40,sur,3.9,100
01/01/2018,02:00,este,3.5,110
01/01/2018,04:00,oeste,2.9,112
01/01/2018,05:00,oeste,1.5,50
01/01/2018,24:00:00,norte,3.3,16
27/02/2018,00:40,sur,2.9,115
''')

def date_parse(cad):
    try:
        return pd.to_datetime(cad, dayfirst=True)
    except ValueError:
        date = pd.to_datetime(cad.split(" ", 1)[0] + " 00:00", dayfirst=True)
        date += datetime.timedelta(days=1)
        return date



df = pd.read_csv(data, index_col=0,
                 date_parser = date_parse,
                 parse_dates = {'Fecha': ['fecha','hora']},
                 )

Esto permite pasar la fecha 01/01/2018 24:00:00 a 02/01/2018 00:00:00 formato aceptado sin problemas. Con lo que obtenemos el siguiente DF:

                      dpre  vel  dirgr
Fecha                                 
2018-01-01 02:40:00    sur  3.9    100
2018-01-01 02:00:00   este  3.5    110
2018-01-01 04:00:00  oeste  2.9    112
2018-01-01 05:00:00  oeste  1.5     50
2018-01-02 00:00:00  norte  3.3     16
2018-02-27 00:40:00    sur  2.9    115

Ahora podemos continuar a partir de aquí con el código anterior para crear las filas faltantes.

7
  • En la parte para generar las nuevas filas, indica que 'str' object has no attribute 'year', esto es en ultimo_dia_mes, lo que cual me impide generar los nuevos datos, de antemano agradezco la respuesta.
    – Jose.P
    el 19 abr. 2018 a las 19:44
  • El indice del DataFrame antes de esto no puede ser de tipo str, debes parsearlo al cargarlo desde el archivo para que sea un DateTimeIndex como hago yo en antes al crear el DF con read_csv en el ejemplo. Si tus fechas no son tales, sino que son cadenas todo se va al traste, para empezar max(df.index) no va a retornar la fecha mayor, sino la cadena mayor (orden lexicográfico).
    – FJSevilla
    el 19 abr. 2018 a las 19:52
  • He reproducido los mismos pasos, que usted realizó, y sigo encontrando el mismo error, intente con datetime para darle formato de fecha a la columna, no se si sera eso pero tambien dio error debido a las horas 'hour must be in 0..23' .
    – Jose.P
    el 19 abr. 2018 a las 20:23
  • Todo indica que tiene una hora o horas inválidas en el csv o tu csv no es como el que muestro. Si la columna hora tiene alguna hora no válida (p.e "24:00", "", "0", "12-15", etc) o otra cadena la columna no se puede parsear y esto explica ambos errores. ¿Tiene tu csv en esta columna solo horas válidas?¿Hay alguna cadena que no sea una hora o que exprese un valor nulo en ella? El código funciona sin problemas con un csv como el que muestro, acabo de probarlo de nuevo. El problema está en los datos originales. Ayudaría que agregara a la pregunta un trozo de csv real que reproduzca el problema.
    – FJSevilla
    el 19 abr. 2018 a las 20:41
  • Listo añadi una parte de los datos, estos presentan horas distintas.
    – Jose.P
    el 19 abr. 2018 a las 20:49

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.