5

Tengo la siguiente consulta.

Tengo este dataframe, el cual tiene las siguientes columnas:

Site IP     Site Name   Instance    Interface Name  Network Add     Interface IP
20.X.X.1    ROUTER1     VPRN1       interface1      20.49.128.0/17  20.49.208.129   
20.X.X.2    ROUTER2     VPRN1       interface2      20.84.34.0/24   20.84.34.3
20.X.X.3    ROUTER3     VPRN1       interface3      20.84.34.0/24   20.84.34.3
20.X.X.4    ROUTER4     VPRN1       interface4      20.85.51.0/23   20.85.51.1
20.X.X.5    ROUTER5     VPRN1       interface5      20.85.52.0/24   20.85.52.1

Y necesito hacer la comprobación si alguna de las direcciones IP esta Duplicada o Solapada. En cuanto a solapada me refiero por ejemplo si tenemos una interfaz con ip 192.168.1.7/30 y otra con ip 192.168.1.3/29, entonces la 192.168.1.3/29 abarca la 192.168.1.7/30 y quedan solapadas. Dicha comprobación, necesito ponerla en una Columna nueva llamada Status.

Site IP     Site Name   Instance    Interface Name  Network Add     Interface IP        Status
20.X.X.1    ROUTER1     VPRN1       interface1      20.49.128.0/17  20.49.208.129       OK
20.X.X.2    ROUTER2     VPRN1       interface2      20.84.34.0/24   20.84.34.3          Duplicated
20.X.X.3    ROUTER3     VPRN1       interface3      20.84.34.0/24   20.84.34.3          Duplicated
20.X.X.4    ROUTER4     VPRN1       interface4      20.85.51.0/23   20.85.51.1          Overlapped
20.X.X.5    ROUTER5     VPRN1       interface5      20.85.52.0/24   20.85.52.1          Overlapped

Espero puedan ayudarme. Muchas Graciass! Juan Pablo.

1 respuesta 1

4

Actualización

Tras conversaciones en el chat, se clarifica que la detección de IPs duplicadas debe hacerse en base a la columna "Interface IP", mientras que los rangos solapados han de hallarse en base a la columna "Network Add".

En base a esto he cambiado ligeramente la respuesta original, en lugar de hacer un añadido, pues los cambios afectan a varias partes.

La solución que se me ha ocurrido, aunque un poco farragosa de explicar, es al final corta de implementar y muy general. Creo que funciona en todos los casos. La idea es la siguiente.

  • Detectar los duplicados en la columna "Interface IP" es sencillo, pues Pandas ya nos da un método dataframe.duplicated() (al final lo usamos)
  • Detectar el solapamiento de regiones es más complejo, especialmente si pueden aparecer en cualquier orden, pues de algún modo hay que comparar todas con todas. El módulo ipaddress puede ayudar aquí en la parte que determina si dos rangos expresados en CDIR se solapan o no.

La idea para la segunda cuestión sería como sigue:

  1. Extraer la columna "Network Add" a una lista
  2. Ordenar la lista usando una función key especial que devuelva 0 si dos direcciones se solapan (usará para ello la clase ipaddress.IPv4Network)
  3. Aplicar itertools.groupby() sobre esa lista ordenada, y usar para agrupar la misma función especial con que ordenamos la columna. Esto creará grupos en los que meterá todas las "Network Add" solapadas, aunque también meterá en grupos separados las que tengan "Network Add" repetidas (que en realidad no cuentan en este problema), y también creará grupos con un solo elemento para las que tengan valores únicos.
  4. Procesar el resultado de ese groupby() para crear una lista sólo con los casos solapados.

Finalmente asignamos a la columna "Status" del dataframe la cadena "OK" por defecto en todas las filas, y después la cadena "Repeated" sólo a aquellas que dataframe.repeated() detecte según la columna "Interface IP", y después la cadena "Overlapped" solo a aquellas cuya "Network Add" figure en la lista que hemos construido en el paso 4.

Así que vamos a ver cómo hacer cada uno de estos pasos:

Pero antes de nada, corregir los datos de ejemplo que pones, ya que el caso 20.85.51.0/23 no es válido por tener a 1 un bit de host. Debería ser 20.85.50.0/23. Y el siguiente 20.85.52.0/24, aunque es válido, no produciría solapamiento con el anterior. Para que lo produzca lo cambio por 20.85.51.0/24

De paso, desordeno las filas para que no queden juntas las IPs que son solapadas, y añado otro caso en el que la "Network Add" es la misma, pero la "Interface Ip" es diferente, para que así sea más difícil.

De modo que mi dataframe es:

Site IP     Site Name   Instance    Interface Name  Network Add     Interface IP
20.X.X.4    ROUTER4     VPRN1       interface4      20.85.50.0/23   20.85.50.1
20.X.X.1    ROUTER1     VPRN1       interface1      20.49.128.0/17  20.49.208.129   
20.X.X.5    ROUTER5     VPRN1       interface5      20.85.51.0/24   20.85.51.1
20.X.X.2    ROUTER2     VPRN1       interface2      20.84.34.0/24   20.84.34.3
20.X.X.6    ROUTER3     VPRN1       interface3      20.84.34.0/24   20.84.34.5
20.X.X.3    ROUTER3     VPRN1       interface3      20.84.34.0/24   20.84.34.3

1. Extraer la columna

Esta es sencilla:

networks = list(df["Network Add"])

2. Ordenar la columna

Esto es necesario para que las IPs que sean iguales queden juntas. Y consideraremos también "iguales" (de momento) aquellas que se solapen.

Necesitamos escribir una función que pueda comparar dos IPs en formato CDIR y retorne 0 si son iguales (o se solapan), -1 si la primera es anterior a la segunda, o 1 en caso contrario. Sería así:

from ipaddress import IPv4Network

def compare(add1, add2):
  add1 = IPv4Network(add1, strict=False)
  add2 = IPv4Network(add2, strict=False)
  if add1.overlaps(add2):
    return 0
  else:
    return add1.compare_networks(add2)

Para poder usar esa función como key (tanto en sorted() como después en groupby()) necesitamos transformarla con ayuda de functools.cmp_to_key():

from functools import cmp_to_key
compare_key = cmp_to_key(compare)

Con esto finalmente ordenar las redes es una sola instrucción:

networks = sorted(networks, key=compare_key)

El resultado una vez ordenadas vemos que ha dejado juntas a las que son idénticas o se solapan:

['20.49.128.0/17',
 '20.84.34.0/24',
 '20.84.34.0/24',
 '20.84.34.0/24',
 '20.85.50.0/23',
 '20.85.51.0/24']

3. Agruparlas

from itertools import groupby

grupos = groupby(networks, key=compare_key)

Esto creará varios grupos separados. En cada grupo puede haber:

  • Una sola IP
  • Varias IPs que son idénticas (según la columna "Network Add"
  • Varias IPs que se han considerado iguales porque se solapaban

4. Clasificarlas

El resultado que tenemos en grupos es un iterable. En cada iteración nos devuelve una tupla cuyo primer elemento es una clave (no nos interesa, la podemos ignorar) y el segundo elemento es otro iterable que podemos convertir en lista para obtener los miembros de ese grupo.

Queremos quedarnos solo con aquellos casos que correspondan a solapamientos y esos los detectamos porque si convertimos a conjunto (set()) las direcciones de cada grupo, aquellos grupos que corresponden a direcciones idénticas o individuales tendrán un solo elemento (pues el tipo set() elimina duplicados).

Así pues usamos esta idea para quedarnos sólo con los casos de solapes:

repetidas = []

for _, g in grupos:
  grupo = list(g)
  if len(set(grupo))>1:
    solapadas.extend(grupo)

Paso final: guardar resultado en dataframe

df["Status"] = "OK"
df.loc[df.duplicated("Interface IP", False), "Status"] = "Duplicated"
df.loc[df["Network Add"].isin(solapadas), "Status"] = "Overlapped"

Podemos observar que el resultado es correcto (recuerda que había desordenado las filas para ver si aún así funcionaba correctamente):

    Site IP Site Name Instance  ...     Network Add   Interface IP      Status
0  20.X.X.4   ROUTER4    VPRN1  ...   20.85.50.0/23     20.85.50.1  Overlapped
1  20.X.X.1   ROUTER1    VPRN1  ...  20.49.128.0/17  20.49.208.129          OK
2  20.X.X.5   ROUTER5    VPRN1  ...   20.85.51.0/24     20.85.51.1  Overlapped
3  20.X.X.2   ROUTER2    VPRN1  ...   20.84.34.0/24     20.84.34.3  Duplicated
4  20.X.X.6   ROUTER3    VPRN1  ...   20.84.34.0/24     20.84.34.5          OK
5  20.X.X.3   ROUTER3    VPRN1  ...   20.84.34.0/24     20.84.34.3  Duplicated
9
  • Abulafia, gracias por tu respuesa, apenas pueda sortear un inconveniente que tengo para obtener las network address, probare tu codigo y te comento.
    – juanpb12
    Commented el 28 nov. 2019 a las 18:28
  • Un detalle. Tal como está mi código es necesario que la dirección CDIR que le suministras sea correcta, es decir, que tenga todo 0 en la parte host. Por ejemplo, una como esta no sería válida: 192.23.34.254/24, y si apareciera una así, se produciría una excepción. Tienes la posibilidad de que, en lugar de excepción, la admita, pero considerando entonces que la parte cliente sería toda ceros, es decir que sería equivalente a 192.23.34.0/24. Dime si se te presenta este caso.
    – abulafia
    Commented el 28 nov. 2019 a las 18:32
  • Por el momento estoy probando con el ejemplo y me da este error: line 25, in <module> networks = list(df["Network Add"]) TypeError: 'list' object is not callable
    – juanpb12
    Commented el 28 nov. 2019 a las 18:44
  • Tienes en tu programa alguna variable llamada list. Renombrala. No es buena idea usar como nombres de variables los identificadores del lenguaje :-) Cuidado con llamar a variables list, dict, id, etc.. Si no se te ocurre un nombre mejor para ellas, ponles un guión bajo al final, ej: list_
    – abulafia
    Commented el 28 nov. 2019 a las 18:53
  • Estimado, lo resolvi utilizando networks = df["Network Add"].tolist() , pero el problema ahora es que no funciona la siguiente linea: networks = sorted(networks, key=compare_key) , arrojando el sigueinte error: AddressValueError: Only decimal digits permitted in ' 20' in ' 20.49.128.0'
    – juanpb12
    Commented el 28 nov. 2019 a las 18:55

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.