Tengo una serie de ficheros excel extraídos de un sensor que quiero unir, y a la vez quiero quitarle los datos erróneos provocados a la hora de la unión de los ficheros.
La primera parte la tengo completa y he comprobado que funciona, pero a la hora de realizar el cribado de los datos no consigo dar con la tecla. ¿Me podríais ayudar?
Os explico el código que he creado y a ver si me podéis decir dónde está el error.
import pandas as pd
import numpy as np
#Cargarmos los ficheros que queremos unir, es muy importante que estén en .xlsx
excel1 = pd.read_excel('HY1.xlsx', sheet='Em50 "EM47095" Data')
excel2 = pd.read_excel('HyP1 22sep.21-1120.xlsx', sheet='Em50 "EM47095" Data')
#Ahora pasamos a realizar la concatenación de ambos ficheros
values1=excel1[["Measurement Time", "mm Water Level", "°C Temp", "mS/cm EC"]]
values2=excel2[["Measurement Time", "mm Water Level", "°C Temp", "mS/cm EC"]]
dataframes = [values1, values2]
Datos=pd.concat(dataframes)
Datos= Datos.sort_values(["Measurement Time"])
timestamp_inicio = "13/05/2021 00:00"
timestamp_end = "31/12/2021 23:55"
tabla = Datos
# 1, Indicarle a pandas que el índice de la tabla sea la columna Measurement Time
# y después eliminar esa columna (pues ya es el índice)
tabla.index = pd.to_datetime(tabla["Measurement Time"])
tabla = tabla.drop("Measurement Time", axis=1)
# 2. Creo un rango de timestamps espaciados 5 minutos
rango_fechas = pd.date_range (start=timestamp_inicio, end=timestamp_end, freq="5min")
# 3. Reindexo la tabla con este nuevo rango
tabla = tabla.reindex (rango_fechas)
tabla.index.name = "Measurement Time"
Vale, esta es la parte del código que he realizado para unir los ficheros (os muestro un ejemplo porque lo tengo hecho para muchos más ficheros...pero con esto creo que puede valer).
Después viene la parte que no consigo solucionar. En esta parte, he calculado las diferencias entre un dato y el anterior, para después poder aplicar un filtro donde si la diferencia es mayor a 100 (en el caso de la columna mm Water level) poder cambiar ese dato por NAN.
df = tabla
### Aquí pasamos a aplicar algunas correcciones
df['Diferencias Altura mm']=abs(df['mm Water Level'].diff(1))
df['Diferencias Temp ºC']=abs(df['°C Temp'].diff(1))
df['Diferencias CE mS/cm']=abs(df['mS/cm EC'].diff(1))
for i in range(1,len(df)):
if df.loc[i,'Diferencias Altura mm'] >= 100 and df.loc[i-1,'Diferencias Altura mm'] >= 100:
df.loc[i,'mm Water Level'] = np.NAN
else:
df.loc[i,'mm Water Level'] = df.loc[i,'mm Water Level']
df['mm Water Level'].plot()
El problema está en el bucle, ya que me da el error: TypeError: cannot do index indexing on <class pandas.core.indexes.datetimes.DatetimeIndex'> with these indexers 1 of <class 'int'>
Pero no se muy bien que es lo que debo de realizar.
Os dejo un ejemplo de cómo serían mis datos para que os podáis hacer una idea. Como podéis comprobar, tengo una serie de datos de un sensor que mide la altura de la columna de agua, la temperatura y la Conductividad eléctrica y suele haber muy poca variación entre registros.
Os dejo por aquí también la gráfica obtenida con mis datos, para que sea todo mucho más entendible lo que quiero conseguir con el bucle.
Como podéis observar, me aparecen unos picos en mi gráfica que son los que intento eliminar con el bucle. Mi pensamiento es para cada valor realizar la diferencia con el anterior y para los que dicha diferencia sea elevada, entiendo que son los picos que me salen en la gráfica y me gustaría eliminar sólo dichos datos. Se que mi pensamiento es un poco básico, pero si me pudieseis ayudar con mi bucle u ofrecer alguna idea mejor os lo agradecería.
¡Muchas gracias por todo!