1

Partiendo de tener un DataFrame cuyas columnas corresponden a una fecha, hora y valores de mediciones de temperatura como en el siguiente ejemplo:

Fecha,Hora,Tem
2018-08-23,00:00:00,0.21
2018-08-23,00:01:00,0.19
2018-08-23,00:03:00,0.21
2018-08-23,00:04:00,0.22
2018-08-23,00:06:00,0.22

considerando saltos de 1 minuto entre medida, se ve que faltan los siguientes registros :

2018-08-23,00:02:00,0.21
2018-08-23,00:05:00,0.23

Ahora, pandas cuenta con alguna función que permita detectar este tipo de registros faltantes? Cabe mencionar que necesito procesar un archivo .csv con cerca de 2 millones de registros, por lo que estoy evitando el uso de bucles para comparación.

Saludos.

1 respuesta 1

1

Una forma un poco indirecta de hacer esto, pero muy útil si te interesa tener las filas faltantes en el DataFrame y operar con ellas es la siguiente:

  • Lees el csv, construyendo a partir de las columnas Fecha y Hora una columna DateTime. Además asignas esa columna como índice del DataFrame.

  • Cambias la frecuencia del índice a la deseada, vía pandas.DataFrame.asfreq o pandas.DataFrame.resample.

Usar un índice temporal facilita y mucho operar con los datos en el futuro si quieres filtrar por fecha o rangos de fechas por ejemplo.

Creando un ejemplo basado en tu código:

import io

data = io.StringIO("""\
Fecha,Hora,Tem
2018-08-23,00:00:00,0.21
2018-08-23,00:01:00,0.19
2018-08-23,00:03:00,0.21
2018-08-23,00:04:00,0.22
2018-08-23,00:06:00,0.22
"""
)


import pandas as pd

df = pd.read_csv(data, parse_dates=[['Fecha', 'Hora']], index_col=0)
df = df.asfreq("min")

con lo que obtenemos:

>>> df

                      Tem
Fecha_Hora               
2018-08-23 00:00:00  0.21
2018-08-23 00:01:00  0.19
2018-08-23 00:02:00   NaN
2018-08-23 00:03:00  0.21
2018-08-23 00:04:00  0.22
2018-08-23 00:05:00   NaN
2018-08-23 00:06:00  0.22

conseguimos el DataFrame con todas las filas que debería tener según la frecuencia deseada, la columna con las temperaturas se rellena con NaN. Si queremos filtrar las filas sin datos basta con un filtro boleano:

>>> df[df["Tem"].isnull()]                 

                     Tem
Fecha_Hora              
2018-08-23 00:02:00  NaN
2018-08-23 00:05:00  NaN
3
  • Excelente! Muy interesante tu recomendación, la tendré en cuenta. Muchas gracias.
    – JVL
    el 6 ago. 2019 a las 20:37
  • De nada, por cierto, me surge la duda de por que das los valores 0.21 y 0.23 a las temperaturas de las dos filas que faltan. Lo digo, porque el método que muestro es también útil si quieres interpolar los valores faltantes a partir de los que tienes o obtenerlos de otro registro por ejemplo.
    – FJSevilla
    el 6 ago. 2019 a las 20:39
  • Olvidé borrarlos al momento de formular la pregunta. Gracias por la observación. Saludos.
    – JVL
    el 6 ago. 2019 a las 22:46

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.