3

Quiero obtener los datos que tengo en un dataframe entre dos fechas y por ahora lo he conseguido. La cosa es que yo lo hago mediante un bucle for y me da la sensación que Pandas debe tener una solución propia mucho más directa.

Una de las premisas de mi dataframe es que está ordenado por fecha y hora, por lo tanto nunca aparecerá un dato en una fila cualquiera.

Por ahora este es mi código,

for i in range(date_start[1], date_end[1]+1):
    cnt = 0
    new_df = df[(df['Dia'] == i) & (df['Mes'] == month) & (df['Año'] == year) & (df['Node name'] == node)]
    # Si la longitud del dataframe es mayor a 0 significa que tenemos datos de ese día
    if len(new_df)>0:
        # Guardamos datos en una lista y la recorremos viendo si la diferencia es mayor a 1.
        paquetes = new_df['Num secuencia'].tolist()
        for r in range(len(paquetes)-1):
            dif = paquetes[r+1]-paquetes[r]
            if dif > 1:
                cnt = cnt + (dif-1)

        result.append(cnt)
    # No hay datos de ese día
    else:
        result.append(0)

    print('Paquetes perdidos el dia ',i,':',cnt)

Básicamente el objetivo es comprobar si en mi columna Num secuencia los números son correlativos o si se han producido saltos.

En cuanto a la duda, lo que hago es un for que empieza en el día de inicio y acaba en el último día (+1 para que el for mire ese día). Y cómo se que está ordenado voy mirando día a día la información.

La cosa es que yo creo que de alguna manera pandasquizás permite definir un inicio y un final y estudiar todos los valores de en medio.

1
  • te refieres al primer for? o al segundo? Commented el 7 ene. 2020 a las 15:22

2 respuestas 2

2

Si no entendí mal, tu problema pasaría por (a) armar grupos por Dia, Mes, Año y Node name, (b) obtener las diferencias entre cada Num secuencia en cada grupo (c) filtrar las diferencias mayores a 1, para saber dónde hay saltos de secuencia.

Esto en pandas podría resolverse de la siguiente forma:

import pandas as pd
df = pd.DataFrame({'Node name':['A','A','A','A','A'],
                   'Dia':[6,7,7,8,8],
                   'Mes':[1,1,1,1,1],
                   'Año':[2020,2020,2020,2020,2020],
                   'Num secuencia': [5,6,8,11,12]
                   })


df['diff'] = df.groupby(['Node name', 'Dia', 'Mes','Año'])['Num secuencia'].diff().fillna(0)
print(df)

  Node name  Dia  Mes   Año  Num secuencia  diff
0         A    6    1  2020              5   0.0
1         A    7    1  2020              6   0.0
2         A    7    1  2020              8   2.0
3         A    8    1  2020             11   0.0
4         A    8    1  2020             12   1.0

print(df[df['diff'] > 1])

  Node name  Dia  Mes   Año  Num secuencia  diff
2         A    7    1  2020              8   2.0
0

Yo lo que te entendí es que necesitas evaluar Num secuencia pero que no necesitas mirar todos los valores, solo los de algunas fechas.

#Filtramos por fecha, en este caso solo año 2016
df=df[df["Año"]=='2016']

#Agregamos la columnma Dif, para poder luego verificar los CONSECUTIVOS en "Num secuencia"
df["Dif"]=df["Num secuencia"].diff()

#Para que sean consecutivos la diferencia debe ser de 1, filtramos por ese numero
df=df[df["Dif"]==1]

En caso que quieras lo contrario podes hacer != en lugar de ==

Saludos y déjanos saber que solución te sirvió y porque?

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.