1

Estoy queriendo hacer un agrupamiento de filas en un dataframe, pero únicamente de los consecutivos. Para plantearlo más claramente, dejo un ejemplo:

ip_src        ip_dst  packet_length  src_port  dst_port comm_type
0      192.168.0.7   52.31.84.22            280   46306.0     443.0        10
1      192.168.0.7  192.168.0.17            105   33105.0    9999.0        00
2      192.168.0.7  192.168.0.17            105   33105.0    9999.0        00
3      192.168.0.7  192.168.0.17            105   33105.0    9999.0        00
4     192.168.0.17   192.168.0.7            127    9999.0   33105.0        00
5     192.168.0.17   192.168.0.7            127    9999.0   33105.0        00
6     192.168.0.17   192.168.0.7            127    9999.0   33105.0        00
7      192.168.0.7  34.192.110.9            583   45914.0     443.0        01
8      52.31.84.22   192.168.0.7           1066     443.0   46306.0        10
9      192.168.0.7   52.31.84.22             73   46306.0     443.0        10
10    34.192.110.9   192.168.0.7           1032     443.0   45914.0        01
11     192.168.0.7  34.192.110.9             73   45914.0     443.0        01
12     192.168.0.7  192.168.0.17            120   33110.0    9999.0        00
13     192.168.0.7  192.168.0.17            120   33110.0    9999.0        00
14     192.168.0.7  192.168.0.17            120   33110.0    9999.0        00

En este df, quiero agrupar por ejemplo [1,2,3], [4,5,6],[12,13,14], de forma de poder realizar algunos calculos con ellos, por ejemplo grupo.sum['packet_length'] (o sea me quedo con una sola fila que tenga en 'packet_length' la suma de este valor para cada miembro.

Espero se haya entendido mi pregunta.

Muchas gracias!

2 respuestas 2

2

Puedes hacer un groupby() por los nombres de todas las columnas que quieras considerar a la hora de ver dos filas como iguales. Por ejemplo, puedes considerar todas ellas, excepto packet_length. Una vez agrupadas, te quedas con la columna packet_length para aplicar sobre ella la función sum.

El resultado sería una serie con las sumas de packet_lenght, pero indexado jerárquicamente (multi-index) según los grupos formados. Puedes hacerle un .reset_index() para "deshacer" el índice jerárquico, convirtiéndolo de nuevo en columnas como el que tenía el dataframe original.

Código

Leemos el dataframe

# Comienzo cargando el dataframe de ejemplo, que fue dado en la pregunta
# como cadena, por lo que lo leeré usando StringIO y .read_table

data = """ip_src        ip_dst  packet_length  src_port  dst_port comm_type
0      192.168.0.7   52.31.84.22            280   46306.0     443.0        10
1      192.168.0.7  192.168.0.17            105   33105.0    9999.0        00
2      192.168.0.7  192.168.0.17            105   33105.0    9999.0        00
3      192.168.0.7  192.168.0.17            105   33105.0    9999.0        00
4     192.168.0.17   192.168.0.7            127    9999.0   33105.0        00
5     192.168.0.17   192.168.0.7            127    9999.0   33105.0        00
6     192.168.0.17   192.168.0.7            127    9999.0   33105.0        00
7      192.168.0.7  34.192.110.9            583   45914.0     443.0        01
8      52.31.84.22   192.168.0.7           1066     443.0   46306.0        10
9      192.168.0.7   52.31.84.22             73   46306.0     443.0        10
10    34.192.110.9   192.168.0.7           1032     443.0   45914.0        01
11     192.168.0.7  34.192.110.9             73   45914.0     443.0        01
12     192.168.0.7  192.168.0.17            120   33110.0    9999.0        00
13     192.168.0.7  192.168.0.17            120   33110.0    9999.0        00
14     192.168.0.7  192.168.0.17            120   33110.0    9999.0        00"""

import pandas as pd
import io
df = pd.read_table(io.StringIO(data), sep=r'\s+', dtype={"comm_type": str})
# El separador r'\s+' representa una secuencia de espacios o tabuladores
# Mediante dtype fuerzo a que la columna comm_type se evalúe como string
# en lugar de entero

Aplicamos la operación descrita:

result = (df.groupby(("ip_src", "ip_dst", "src_port", "dst_port", "comm_type")) # Agrupar
          .packet_length    # Quedarse con la columna packet_length
          .apply(sum)       # Calcular su suma
          .reset_index())   # Deshacer índice jerárquico

El resultado es:

         ip_src        ip_dst  src_port  dst_port comm_type  packet_length
0  192.168.0.17   192.168.0.7    9999.0   33105.0        00            381
1   192.168.0.7  192.168.0.17   33105.0    9999.0        00            315
2   192.168.0.7  192.168.0.17   33110.0    9999.0        00            360
3   192.168.0.7  34.192.110.9   45914.0     443.0        01            656
4   192.168.0.7   52.31.84.22   46306.0     443.0        10            353
5  34.192.110.9   192.168.0.7     443.0   45914.0        01           1032
6   52.31.84.22   192.168.0.7     443.0   46306.0        10           1066

Segunda versión

El método anterior agruparía las filas con la misma IP fuente, destino, puertos y tipo de comunicación, pero sin tener en cuenta el packet_lenght, es decir, formarían parte del mismo grupo también las que tengan diferente packet_length con tal de que el resto de atributos coincidan.

Si lo que quieres es que sólo agrupe las que tengan iguales todos los campos (incluyendo packet_length) puedes pasarle a groupby() la lista de columnas. En este caso tenemos el problema de que el dataframe final tendría dos columnas packet_lenght, una con el valor original, y otra con la suma. Pandas no permite dos columnas de igual nombre (además de que sería muy confuso), pero el problema se arregla si computamos dos funciones de agregación, una que sume los packet_lengths y otra que cuente cuántos hay en cada grupo (que sería el número de repeticiones dentro de cada grupo).

El siguiente código hace eso:

result = (df.groupby(list(df.columns))              # Agrupar filas iguales
          .agg({'packet_length': ['count', 'sum']}) # Computar sobre la columna packet_length la cuenta y la suma
          .reset_index())                           # Deshacer índice jerárquico

Resultado:

         ip_src        ip_dst packet_length src_port dst_port comm_type packet_length      
                                                                                count   sum
0  192.168.0.17   192.168.0.7           127   9999.0  33105.0        00             3   381
1   192.168.0.7  192.168.0.17           105  33105.0   9999.0        00             3   315
2   192.168.0.7  192.168.0.17           120  33110.0   9999.0        00             3   360
3   192.168.0.7  34.192.110.9            73  45914.0    443.0        01             1    73
4   192.168.0.7  34.192.110.9           583  45914.0    443.0        01             1   583
5   192.168.0.7   52.31.84.22            73  46306.0    443.0        10             1    73
6   192.168.0.7   52.31.84.22           280  46306.0    443.0        10             1   280
7  34.192.110.9   192.168.0.7          1032    443.0  45914.0        01             1  1032
8   52.31.84.22   192.168.0.7          1066    443.0  46306.0        10             1  1066

Actualización

Me he dado cuenta de un problema con la solución anterior, y es que la agrupación ocurre independientemente de si las filas son contiguas o no.

Por ejemplo, en la versión 1 de la solución las filas 0 y 9 son agrupadas porque tienen iguales la IP fuente, destino, puertos y tipo de comunicación, a pesar de que no son contiguas en el dataframe. En la solución 2 no son agrupadas porque no tienen el mismo valor de packet_length, pero si lo tuvieran se agruparían también.

Vemos otro efecto secundario, y es que en el resultado los grupos aparecen ordenados de diferente forma a como aparecían en la secuencia original (aparentemente pone primero los grupos con mayor número de repeticiones).

Si lo que queremos es que se agrupen sólo las filas idénticas y además contiguas, y que se preserve el orden "temporal" de las series, la solución podría ser la siguiente. No la explico porque se haría muy largo, pero puedo añadir una explicación posteriormente si alguien lo estima necesario.

result = (df.groupby((df!=df.shift()).cumsum().to_records(index=False)) # Agrupación "mágica"
          .agg({'ip_src': 'last',                  # Cómputo aplicable a cada columna
                'ip_dst': 'last',                  # En casi todas uso 'last' que toma el
                'packet_length': ['count', 'sum'], # último valor que aparezca en el grupo
                'src_port': 'last',                # excepto para packet_lenght que
                'dst_port': 'last',                # computo la cuenta y suma
                'comm_type': 'last'
               })
          .reset_index(drop=True))  # Deshacer el índice jerárquico

# Renombrar columnas para eliminar multi-niveles introducidos por .agg
result.columns = ['ip_src', 'ip_dst', 
                  'count', 'packet_length_sum',
                  'src_port', 'dst_port', 'comm_type']

Nuevo resultado:

         ip_src        ip_dst  count  packet_length_sum  src_port  dst_port comm_type
0   192.168.0.7   52.31.84.22      1                280   46306.0     443.0        10
1   192.168.0.7  192.168.0.17      3                315   33105.0    9999.0        00
2  192.168.0.17   192.168.0.7      3                381    9999.0   33105.0        00
3   192.168.0.7  34.192.110.9      1                583   45914.0     443.0        01
4   52.31.84.22   192.168.0.7      1               1066     443.0   46306.0        10
5   192.168.0.7   52.31.84.22      1                 73   46306.0     443.0        10
6  34.192.110.9   192.168.0.7      1               1032     443.0   45914.0        01
7   192.168.0.7  34.192.110.9      1                 73   45914.0     443.0        01
8   192.168.0.7  192.168.0.17      3                360   33110.0    9999.0        00
1
  • Muchas gracias @abulafia . Es justo lo que estaba buscando! Saludos!
    – sooaran
    el 15 may. 2018 a las 13:54
1

a! que interesante! Os pregunto una duda que me ha surgido, y si de la agrupación que se hizo originalmente en lugar de hacer la suma de packet_length, se necesita tener una lista del campo scr_port?

Para obtener algo así:

Puedes hacer un groupby() por los nombres de todas las columnas que quieras considerar a la hora de ver dos filas como iguales. Por ejemplo, puedes considerar todas ellas, excepto packet_length. Una vez agrupadas, te quedas con la columna packet_length para aplicar sobre ella la función sum.

El resultado sería una serie con las sumas de packet_lenght, pero indexado jerárquicamente (multi-index) según los grupos formados. Puedes hacerle un .reset_index() para "deshacer" el índice jerárquico, convirtiéndolo de nuevo en columnas como el que tenía el dataframe original.

Código

Leemos el dataframe

# Comienzo cargando el dataframe de ejemplo, que fue dado en la pregunta
# como cadena, por lo que lo leeré usando StringIO y .read_table

data = """ip_src        ip_dst  packet_length  src_port  dst_port comm_type
0      192.168.0.7   52.31.84.22            280   46306.0     443.0        10
1      192.168.0.7  192.168.0.17            105   33105.0    9999.0        00
2      192.168.0.7  192.168.0.17            105   33105.0    9999.0        00
3      192.168.0.7  192.168.0.17            105   33105.0    9999.0        00
4     192.168.0.17   192.168.0.7            127    9999.0   33105.0        00
5     192.168.0.17   192.168.0.7            127    9999.0   33105.0        00
6     192.168.0.17   192.168.0.7            127    9999.0   33105.0        00
7      192.168.0.7  34.192.110.9            583   45914.0     443.0        01
8      52.31.84.22   192.168.0.7           1066     443.0   46306.0        10
9      192.168.0.7   52.31.84.22             73   46306.0     443.0        10
10    34.192.110.9   192.168.0.7           1032     443.0   45914.0        01
11     192.168.0.7  34.192.110.9             73   45914.0     443.0        01
12     192.168.0.7  192.168.0.17            120   33110.0    9999.0        00
13     192.168.0.7  192.168.0.17            120   33110.0    9999.0        00
14     192.168.0.7  192.168.0.17            120   33110.0    9999.0        00"""

import pandas as pd
import io
df = pd.read_table(io.StringIO(data), sep=r'\s+', dtype={"comm_type": str})

# El separador r'\s+' representa una secuencia de espacios o tabuladores
# Mediante dtype fuerzo a que la columna comm_type se evalúe como string
# en lugar de entero

Aplicamos la operación descrita:

result = (df.groupby(("ip_src", "ip_dst", "src_port", "dst_port", "comm_type")) # Agrupar
          .packet_length    # Quedarse con la columna packet_length
          .apply(sum)       # Calcular su suma
          .reset_index())   # Deshacer índice jerárquico

El resultado es:

         ip_src        ip_dst  src_port  
0  192.168.0.17   192.168.0.7    9999.0 
1   192.168.0.7  192.168.0.17  [ 33105.0   ,33110.0,45914.0 ,46306.0]
5  34.192.110.9   192.168.0.7     443.0 
6   52.31.84.22   192.168.0.7     443.0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.