1

estoy trabajando en un programa, y necesito agrupar cadenas de texto que están generadas en una fecha determinada.

La forma de agrupación que quiero es agrupar una misma cadena todas las veces que se repita, siempre y cuando una próxima repetición ocurra en menos de 30 días. En el caso que después de 30 días vuelva a repetirse volver a contar (es un contéo móvil).

Hasta hora estoy leyendo desde un CSV y tengo las cadenas separadas y las fechas convertidas en date, de la siguiente forma:

    import pandas as pd
    import numpy as np
    import numpy
    import csv
    from numpy import genfromtxt
    import numpy as np
    from datetime import datetime, timedelta
    from time import time

    df = pd.read_csv('Export.csv', header=0, sep=';')

    FDE=[]


    FDE=df["#"] +"-"+df["Text"]                          #Crear lista
    df[" Date"] = pd.to_datetime(df[" Date"])            #Convertir fechas a date


    print(FDE)

FDE es la cadena que debo buscar, cada vez que FDE se repite y la fecha asociada al FDE repetido es menor a 30 días, se debe contar. En los casos que FDE sea mayor a 30 días se debe reiniciar el conteo. De esta forma quedan distintas historias para un tipo de FDE.

El archivo del cual estoy leyendo es el siguiente:

https://drive.google.com/file/d/0B11sJdX_AaJBVVpZZnNDT3o4XzQ/view?usp=sharing

Cualquier idea o ayuda se agradece.

Ejemplo de salida:

    CCB-HYD PUPRI R = 2
    CBH-G AIR = 2
    CBD-FD AIL = 2
    CBD-FFAIL = 2

Saludos!

3
  • Jorge creo entender el problema, dos dudas: la fecha a la que te refieres es la de la columna Report Date, FDE Date o Mesaje Time/Date? Por otro lado, con lo de si el periodo repetido es menor a 30 dias te refieres desde la primera fecha del grupo o que el grupo se rompe cuando la siguiente coincidencia es posterior a 30 dias a la anterior coincidencia (no a la primera del grupo, sino a la que la precede)? Si puedes, aportar el resultado esperado del ejemplo que das sería de mucha ayuda. Saludos.
    – FJSevilla
    Commented el 10 jul. 2017 a las 2:57
  • 1
    @FJSevilla La fecha es "FDE Date", para cada tipo de "FDE Text". Lo que dices es lo correcto, el grupo se rompe o historia se rompe cuando la siguiente coincidencia es posterior a 30 días. En ese momento se pueden generar otros grupos. Añadiré un ejemplo. Commented el 10 jul. 2017 a las 3:05
  • Añadí un ejemplo @FJSevilla por ejemplo "CCBBD-FD DOOR LOCK FAIL" tiene 2 historias, una en un junio luego 2 en noviembre, ya que la última de junio tiene una diferencia mayor a 30 días cuando sucede la siguiente la en noviembre. Espero haber aclarado tu duda. Commented el 10 jul. 2017 a las 3:11

1 respuesta 1

2

Lo siguiente creo que hace lo que quieres. No he encontrado una funcionalidad mágica de que permita hacerlo de forma más directa. Igual existe pero la desconozco:

import datetime as dt

import pandas as pd

# funciones de ayuda
dateparser = lambda d: dt.datetime.strptime(d, "%d-%m-%Y %H:%M")

def agrupa(data):
    groups = [1]
    delta = pd.Timedelta(days=30)
    for i in range(1,len(data)):
        d1 = data['FDE Date'].iloc[i]
        d0 = data['FDE Date'].iloc[i-1]
        print(i, d1, d0)
        if d1 - d0 > delta:
            groups.append(groups[-1] + 1)
        else:
            groups.append(groups[-1])
    return groups

# Leemos los datos y los organizamos como queremos
df = pd.read_csv("kk.csv",
                 header=0, 
                 sep=';',
                 parse_dates=[6, 8, 21],
                 date_parser=dateparser)

df['FDE'] = df["Tail #"] +"-"+df["FDE Text"]

# Agrupamos por 'FDE'
groups = df.groupby('FDE')

# Bucle sobre los grupos y extraemos grupos de fechas con la fn agrupa
for group in groups:
    df_tmp = group[1].sort_values('FDE Date')
    group = group[0]
    df_tmp['grupos'] = agrupa(df_tmp)

    # Esto lo tendrás que retocar para extraer la info como consideres
    print("Grupos para ", group)
    print(df_tmp.groupby('grupos')['FDE Date'].count().values)

Por partes, dateparser es una función que permite leer el csv y transformar las columnas de fechas en fechas. agrupa se usa para crear grupos por fechas dentro de cada grupo (ver código). Leemos el fichero y creamos grupos usando groupby. Dentro de cada grupo iteramos sobre la columna FDE Date para crear una columna de grupos que determina si un evento se debe asociar a un grupo o a otro.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.