Puedes hacer un groupby()
por los nombres de todas las columnas que quieras considerar a la hora de ver dos filas como iguales. Por ejemplo, puedes considerar todas ellas, excepto packet_length
. Una vez agrupadas, te quedas con la columna packet_length
para aplicar sobre ella la función sum
.
El resultado sería una serie con las sumas de packet_lenght
, pero indexado jerárquicamente (multi-index) según los grupos formados. Puedes hacerle un .reset_index()
para "deshacer" el índice jerárquico, convirtiéndolo de nuevo en columnas como el que tenía el dataframe original.
Código
Leemos el dataframe
# Comienzo cargando el dataframe de ejemplo, que fue dado en la pregunta
# como cadena, por lo que lo leeré usando StringIO y .read_table
data = """ip_src ip_dst packet_length src_port dst_port comm_type
0 192.168.0.7 52.31.84.22 280 46306.0 443.0 10
1 192.168.0.7 192.168.0.17 105 33105.0 9999.0 00
2 192.168.0.7 192.168.0.17 105 33105.0 9999.0 00
3 192.168.0.7 192.168.0.17 105 33105.0 9999.0 00
4 192.168.0.17 192.168.0.7 127 9999.0 33105.0 00
5 192.168.0.17 192.168.0.7 127 9999.0 33105.0 00
6 192.168.0.17 192.168.0.7 127 9999.0 33105.0 00
7 192.168.0.7 34.192.110.9 583 45914.0 443.0 01
8 52.31.84.22 192.168.0.7 1066 443.0 46306.0 10
9 192.168.0.7 52.31.84.22 73 46306.0 443.0 10
10 34.192.110.9 192.168.0.7 1032 443.0 45914.0 01
11 192.168.0.7 34.192.110.9 73 45914.0 443.0 01
12 192.168.0.7 192.168.0.17 120 33110.0 9999.0 00
13 192.168.0.7 192.168.0.17 120 33110.0 9999.0 00
14 192.168.0.7 192.168.0.17 120 33110.0 9999.0 00"""
import pandas as pd
import io
df = pd.read_table(io.StringIO(data), sep=r'\s+', dtype={"comm_type": str})
# El separador r'\s+' representa una secuencia de espacios o tabuladores
# Mediante dtype fuerzo a que la columna comm_type se evalúe como string
# en lugar de entero
Aplicamos la operación descrita:
result = (df.groupby(("ip_src", "ip_dst", "src_port", "dst_port", "comm_type")) # Agrupar
.packet_length # Quedarse con la columna packet_length
.apply(sum) # Calcular su suma
.reset_index()) # Deshacer índice jerárquico
El resultado es:
ip_src ip_dst src_port dst_port comm_type packet_length
0 192.168.0.17 192.168.0.7 9999.0 33105.0 00 381
1 192.168.0.7 192.168.0.17 33105.0 9999.0 00 315
2 192.168.0.7 192.168.0.17 33110.0 9999.0 00 360
3 192.168.0.7 34.192.110.9 45914.0 443.0 01 656
4 192.168.0.7 52.31.84.22 46306.0 443.0 10 353
5 34.192.110.9 192.168.0.7 443.0 45914.0 01 1032
6 52.31.84.22 192.168.0.7 443.0 46306.0 10 1066
Segunda versión
El método anterior agruparía las filas con la misma IP fuente, destino, puertos y tipo de comunicación, pero sin tener en cuenta el packet_lenght
, es decir, formarían parte del mismo grupo también las que tengan diferente packet_length
con tal de que el resto de atributos coincidan.
Si lo que quieres es que sólo agrupe las que tengan iguales todos los campos (incluyendo packet_length
) puedes pasarle a groupby()
la lista de columnas. En este caso tenemos el problema de que el dataframe final tendría dos columnas packet_lenght
, una con el valor original, y otra con la suma. Pandas no permite dos columnas de igual nombre (además de que sería muy confuso), pero el problema se arregla si computamos dos funciones de agregación, una que sume los packet_lengths
y otra que cuente cuántos hay en cada grupo (que sería el número de repeticiones dentro de cada grupo).
El siguiente código hace eso:
result = (df.groupby(list(df.columns)) # Agrupar filas iguales
.agg({'packet_length': ['count', 'sum']}) # Computar sobre la columna packet_length la cuenta y la suma
.reset_index()) # Deshacer índice jerárquico
Resultado:
ip_src ip_dst packet_length src_port dst_port comm_type packet_length
count sum
0 192.168.0.17 192.168.0.7 127 9999.0 33105.0 00 3 381
1 192.168.0.7 192.168.0.17 105 33105.0 9999.0 00 3 315
2 192.168.0.7 192.168.0.17 120 33110.0 9999.0 00 3 360
3 192.168.0.7 34.192.110.9 73 45914.0 443.0 01 1 73
4 192.168.0.7 34.192.110.9 583 45914.0 443.0 01 1 583
5 192.168.0.7 52.31.84.22 73 46306.0 443.0 10 1 73
6 192.168.0.7 52.31.84.22 280 46306.0 443.0 10 1 280
7 34.192.110.9 192.168.0.7 1032 443.0 45914.0 01 1 1032
8 52.31.84.22 192.168.0.7 1066 443.0 46306.0 10 1 1066
Actualización
Me he dado cuenta de un problema con la solución anterior, y es que la agrupación ocurre independientemente de si las filas son contiguas o no.
Por ejemplo, en la versión 1 de la solución las filas 0 y 9 son agrupadas porque tienen iguales la IP fuente, destino, puertos y tipo de comunicación, a pesar de que no son contiguas en el dataframe. En la solución 2 no son agrupadas porque no tienen el mismo valor de packet_length
, pero si lo tuvieran se agruparían también.
Vemos otro efecto secundario, y es que en el resultado los grupos aparecen ordenados de diferente forma a como aparecían en la secuencia original (aparentemente pone primero los grupos con mayor número de repeticiones).
Si lo que queremos es que se agrupen sólo las filas idénticas y además contiguas, y que se preserve el orden "temporal" de las series, la solución podría ser la siguiente. No la explico porque se haría muy largo, pero puedo añadir una explicación posteriormente si alguien lo estima necesario.
result = (df.groupby((df!=df.shift()).cumsum().to_records(index=False)) # Agrupación "mágica"
.agg({'ip_src': 'last', # Cómputo aplicable a cada columna
'ip_dst': 'last', # En casi todas uso 'last' que toma el
'packet_length': ['count', 'sum'], # último valor que aparezca en el grupo
'src_port': 'last', # excepto para packet_lenght que
'dst_port': 'last', # computo la cuenta y suma
'comm_type': 'last'
})
.reset_index(drop=True)) # Deshacer el índice jerárquico
# Renombrar columnas para eliminar multi-niveles introducidos por .agg
result.columns = ['ip_src', 'ip_dst',
'count', 'packet_length_sum',
'src_port', 'dst_port', 'comm_type']
Nuevo resultado:
ip_src ip_dst count packet_length_sum src_port dst_port comm_type
0 192.168.0.7 52.31.84.22 1 280 46306.0 443.0 10
1 192.168.0.7 192.168.0.17 3 315 33105.0 9999.0 00
2 192.168.0.17 192.168.0.7 3 381 9999.0 33105.0 00
3 192.168.0.7 34.192.110.9 1 583 45914.0 443.0 01
4 52.31.84.22 192.168.0.7 1 1066 443.0 46306.0 10
5 192.168.0.7 52.31.84.22 1 73 46306.0 443.0 10
6 34.192.110.9 192.168.0.7 1 1032 443.0 45914.0 01
7 192.168.0.7 34.192.110.9 1 73 45914.0 443.0 01
8 192.168.0.7 192.168.0.17 3 360 33110.0 9999.0 00