2

Estimados, estoy desarrollando unas consultas y quiero tener una agrupación la cual entre fechas para cada 'pfr_Fault_Code' no existan más de 30 días.

Si ejecutan el siguiente código, se puede ver una agrupación de 'pfr_Fault_Code' por fecha y un conteo de eventos:

from collections import defaultdict
import pandas as pd
from datetime import datetime, timedelta
from time import time

df = pd.read_csv('FDE_before_delay_aviso_previo.csv', header=0, sep=',', usecols=[1,16,20,27,28],parse_dates = ['fault_date'])
df2=df.sort(columns=['CASS_ID','pfrs_pfr_date','fault_date'])
df2 = df2.reset_index(drop=True)

df2=df2.groupby(['pfr_Fault_Code','fault_date']).count()

print(df2)

Quiero contar lo mismo, pero siempre y cuando no existan más de 30 días en cada fecha para cada 'pfr_Fault_Code' desde la fecha más actual hacía atrás. Por otro lado, las fechas están ordenadas. ¿En pandas será posible realizar directamente esto?

Ejemplo:

Para un 'pfr_Fault_Code'=XXXXXX tengo las siguientes 'fault_date'=[2017/12/01],[2017/11/29],[2017/11/10],[2017/09/30],[2017/09/15]

Desde la fecha más actual hacía atrás veo si existe un corte entre fechas superior a 30 días, el cual se genera entre '[2017/11/10] y [2017/09/30] por lo tanto me sirve 'fault_date'=[2017/12/01],[2017/11/29],[2017/11/10].


Estaba pensando añadir algo como esto, una nueva columna con la diferencia en días, pero no me funciona:

df2['diferencia'] =df2.groupby('pfr_Fault_Code')['fault_date'].transform(pd.Series.diff).fillna(df2['fault_date'])

TypeError: unsupported operand type(s) for -: 'str' and 'str'


El archivo CSV para poder ejecutar el código es el siguiente:

https://drive.google.com/file/d/1f8IFNvMA0Zbm_t0whweZjt4QSHR-ahVy/view?usp=sharing

7
  • Jorge para aclarar un poco, si tienes por ejemplo los siguientes valores de fault_date para un mismo pfr_Fault_Code: [01/01/2017, 12/01/2017, 01/03/2017, 10/05/2017, 12/05/2017, 01/06/2017, 01/10/2017], ¿la salida debería ser 3?
    – FJSevilla
    Commented el 22 dic. 2017 a las 0:00
  • @FJSevilla disculpa pero no estaba correcta la respuesta anterior, creo que es más simple que eso, viendo tu ejemplo solo debería quedar lo más próximo al día de hoy y cortar aquello que esté a más de 30 días, por ejemplo sólo me sirve 01/10/2017. Siempre hay una fecha inicial o la más actual respecto no deben haber más de 30 días respecto a la anterior, y de anterior no más de 30 días respecto a la de más atrás, por eso en tu ejemplo sólo es válida 01/10/2017 y respecto a esa contar con groupby Commented el 22 dic. 2017 a las 11:38
  • @FJSevilla por eso pensaba en añadir una nueva columna que me indique la diferencia entre una fecha y la anterior, de esta forma podría saber cuando generar el corte si es que existiera uno mayor a 30 días. Añadiré un ejemplo arriba. Commented el 22 dic. 2017 a las 11:40
  • Es decir, que se deja de contar en el momento que hay un salto. Por ejemplo [20/12/2017, 02/12/2017, 17/11/2017, 01/05/2017, 25/4/2017] solo validaría las tres primeras, aunque luego entre 01/05/2017 y 25/4/2017 existan de nuevo menos de 30 días de diferencia. Es decir, en el momento que entre una fecha y la que le precede exista más de 30 días dejamos de contar sin importar el resto. ¿Es esto?
    – FJSevilla
    Commented el 22 dic. 2017 a las 11:46
  • @FJSevilla exacto! el resto no importaría, como en el ejemplo que puse arriba. Commented el 22 dic. 2017 a las 12:27

1 respuesta 1

1

Puedes usar pandas.DataFrame.groupby.diff() junto a count() para crear una nueva columna que diferencie cada grupo de fechas dentro de un mismo valor de pfr_Fault_Code que no están separadas más de 30 días con respecto a la que le precede. Hecho esto, bastaría solo con quedarse con el primer grupo por cada valor de pfr_Fault_Code.

Veamos un ejemplo reproducible y simplificado:

import pandas as pd

data = {'pfr_Fault_Code': ["111111", "111111", "111111", "111111", "111111", 
                           "222222", "222222", "222222", "222222", "222222",
                           "333333", "333333", "333333", "333333"], 
            'fault_date': ["2017/12/01", "2017/11/29","2017/11/10", "2017/09/30", "2017/09/15", 
                           "2017/10/01", "2017/05/29","2017/05/10", "2017/03/30", "2017/03/30", 
                           "2017/05/01", "2017/04/29","2017/04/10", "2017/01/30"]
        }

df = pd.DataFrame(data)
df['fault_date'] = pd.to_datetime(df['fault_date'])

# Ordenamos de forma descendente las fechas, esto es un paso imprescindible
df.sort_values(by='fault_date', ascending = False, inplace = True)


df['groups'] = df.groupby('pfr_Fault_Code')['fault_date'].diff() < pd.Timedelta(days=-30)
df['groups'] = df.groupby('pfr_Fault_Code')["groups"].cumsum()

Con esto obtenemos el siguiente DataFrame:

   fault_date pfr_Fault_Code  groups
0  2017-12-01         111111     0.0
1  2017-11-29         111111     0.0
2  2017-11-10         111111     0.0
5  2017-10-01         222222     0.0
3  2017-09-30         111111     1.0
4  2017-09-15         111111     1.0
6  2017-05-29         222222     1.0
7  2017-05-10         222222     1.0
10 2017-05-01         333333     0.0
11 2017-04-29         333333     0.0
12 2017-04-10         333333     0.0
8  2017-03-30         222222     2.0
9  2017-03-30         222222     2.0
13 2017-01-30         333333     1.0

Ahora es muy simple obtener por cada valor de pfr_Fault_Code las filas hasta que una de las fechas de fault_date tiene una diferencia mayor de 30 días con respecto a la que le precede:

>>> df[df["groups"] == 0]

   fault_date pfr_Fault_Code  groups
0  2017-12-01         111111     0.0
1  2017-11-29         111111     0.0
2  2017-11-10         111111     0.0
5  2017-10-01         222222     0.0
10 2017-05-01         333333     0.0
11 2017-04-29         333333     0.0
12 2017-04-10         333333     0.0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.