Estimados, estoy desarrollando unas consultas y quiero tener una agrupación la cual entre fechas para cada 'pfr_Fault_Code'
no existan más de 30 días.
Si ejecutan el siguiente código, se puede ver una agrupación de 'pfr_Fault_Code'
por fecha y un conteo de eventos:
from collections import defaultdict
import pandas as pd
from datetime import datetime, timedelta
from time import time
df = pd.read_csv('FDE_before_delay_aviso_previo.csv', header=0, sep=',', usecols=[1,16,20,27,28],parse_dates = ['fault_date'])
df2=df.sort(columns=['CASS_ID','pfrs_pfr_date','fault_date'])
df2 = df2.reset_index(drop=True)
df2=df2.groupby(['pfr_Fault_Code','fault_date']).count()
print(df2)
Quiero contar lo mismo, pero siempre y cuando no existan más de 30 días en cada fecha para cada 'pfr_Fault_Code'
desde la fecha más actual hacía atrás. Por otro lado, las fechas están ordenadas. ¿En pandas será posible realizar directamente esto?
Ejemplo:
Para un 'pfr_Fault_Code'=XXXXXX
tengo las siguientes 'fault_date'=[2017/12/01],[2017/11/29],[2017/11/10],[2017/09/30],[2017/09/15]
Desde la fecha más actual hacía atrás veo si existe un corte entre fechas superior a 30 días, el cual se genera entre '[2017/11/10]
y [2017/09/30]
por lo tanto me sirve 'fault_date'=[2017/12/01],[2017/11/29],[2017/11/10]
.
Estaba pensando añadir algo como esto, una nueva columna con la diferencia en días, pero no me funciona:
df2['diferencia'] =df2.groupby('pfr_Fault_Code')['fault_date'].transform(pd.Series.diff).fillna(df2['fault_date'])
TypeError: unsupported operand type(s) for -: 'str' and 'str'
El archivo CSV para poder ejecutar el código es el siguiente:
https://drive.google.com/file/d/1f8IFNvMA0Zbm_t0whweZjt4QSHR-ahVy/view?usp=sharing
fault_date
para un mismopfr_Fault_Code
:[01/01/2017, 12/01/2017, 01/03/2017, 10/05/2017, 12/05/2017, 01/06/2017, 01/10/2017]
, ¿la salida debería ser 3?01/10/2017
. Siempre hay una fecha inicial o la más actual respecto no deben haber más de 30 días respecto a la anterior, y de anterior no más de 30 días respecto a la de más atrás, por eso en tu ejemplo sólo es válida01/10/2017
y respecto a esa contar con groupby[20/12/2017, 02/12/2017, 17/11/2017, 01/05/2017, 25/4/2017]
solo validaría las tres primeras, aunque luego entre01/05/2017
y25/4/2017
existan de nuevo menos de 30 días de diferencia. Es decir, en el momento que entre una fecha y la que le precede exista más de 30 días dejamos de contar sin importar el resto. ¿Es esto?