Skip to main content
Modificada bastante sustancialmente tras chat con el usuario
Origen Enlace
abulafia
  • 58.7k
  • 3
  • 54
  • 89

Actualización

Tras conversaciones en el chat, se clarifica que la detección de IPs duplicadas debe hacerse en base a la columna "Interface IP", mientras que los rangos solapados han de hallarse en base a la columna "Network Add".

En base a esto he cambiado ligeramente la respuesta original, en lugar de hacer un añadido, pues los cambios afectan a varias partes.

O es que la pregunta se las trae, o esLa solución que estoy yo muy espeso porque después de muchas vueltas solo se me ha ocurrido lo siguiente, queaunque un poco farragosa de explicar, es al final corta de implementar y muy largogeneral. ¡Disculpa!Creo que funciona en todos los casos. La idea es la siguiente.

  • Detectar los duplicados en la columna "Interface IP" es sencillo, pues Pandas ya nos da un método dataframe.duplicated() (al final lo usamos)
  • Detectar el solapamiento de regiones es más complejo, especialmente si pueden aparecer en cualquier orden, pues de algún modo hay que comparar todas con todas. El módulo ipaddress puede ayudar aquí en la parte que determina si dos rangos expresados en CDIR se solapan o no.

La idea para la segunda cuestión sería como sigue:

  1. Extraer la columna "Network Add" a una lista
  2. Ordenar la lista usando una función key especial que utilicedevuelva 0 si dos direcciones se solapan (usará para ello la clase ipaddress.IPv4Network, que es capaz de detectar si dos redes en notación CDIR se solapan.)
  3. Aplicar itertools.groupby() sobre esa lista ordenada, y usar para agrupar la misma función especial con que ordenamos la columna. Esto creará grupos en los que meterá todas las "Network Add" solapadas, aunque también meterá en grupos separados las que tengan "Network Add" repetidas (que en realidad no cuentan en este problema), y también creará grupos con un solo elemento para las que tengan valores únicos.
  4. Procesar el resultado de ese groupby() para clasificar cada grupo en diferentescrear una lista sólo con los casos: IP única, IP repetida, IPs solapadas solapados.

Tras todo lo anterior, tendremos tres listas unicas, repetidas y solapadas las cuales han clasificado todos los valores de la columna "Network Add" en uno de esos tres grupos.

Finalmente asignamos a la columna "Status" del dataframe la cadena "OK" por defecto en todas las filas, y después la cadena "Repeated" u "Overlapped"sólo a aquellas que dataframe.repeated() detecte según el valor de la celdacolumna "Interface IP", y después la cadena "Overlapped" solo a aquellas cuya "Network Add" estéfigure en una de las tres listas antes construidasla lista que hemos construido en el paso 4.

Pero antes de nada, corregir los datos de ejemplo que pones, ya que el caso 20.85.51.0/23 no es válido por tener a 1 un bit de host. Debería ser 20.85.50.0/23. Y el siguiente 20.85.52.0/24, aunque es válido, no produciría solapamiento con el anterior. Para que lo produzca lo cambio por 20.85.51.0/24

De paso, desordeno las filas para que no queden juntas las IPs que son iguales o solapadas, y añado otro caso en el que la "Network Add" es la misma, pero la "Interface Ip" es diferente, para que así sea más difícil.

De modo que mi dataframe es:

Site IP     Site Name   Instance    Interface Name  Network Add     Interface IP
20.X.X.4    ROUTER4     VPRN1       interface4      20.85.50.0/23   20.85.50.1
20.X.X.1    ROUTER1     VPRN1       interface1      20.49.128.0/17  20.49.208.129   
20.X.X.5    ROUTER5     VPRN1       interface5      20.85.51.0/24   20.85.51.1
20.X.X.2    ROUTER2     VPRN1       interface2      20.84.34.0/24   20.84.34.3
20.X.X.6    ROUTER3     VPRN1       interface3      20.84.34.0/24   20.84.34.5
20.X.X.3    ROUTER3     VPRN1       interface3      20.84.34.0/24   20.84.34.3
['20.49.128.0/17',
 '20.84.34.0/24',
 '20.84.34.0/24',
 '20.84.34.0/24',
 '20.85.50.0/23',
 '20.85.51.0/24']
  • Una sola IP
  • Varias IPs que son idénticas (según la columna "Network Add"
  • Varias IPs que se han considerado iguales porque se solapaban

Basándonos el la longitud de la lista que obtenemos para cada grupo determinamos:

  • Si la longitud es 1, el grupo solo tiene un elemento, por tanto es una IP no duplicada
  • En caso contrario pueden ser varias IPs duplicadas, o varias diferentes pero que se solapan. Para distinguir ambos, se convierte el grupo en un set(). Ya que los set() eliminan los elementos idénticos, si el tamaño del conjunto resultante era 1, es que eran IPs idènticas. En otro caso eran solapadas.

Así pues usamos esta idea para ir poblando tres listas,Queremos quedarnos solo con aquellos casos que contendrán respectivamente las IPscorrespondan a solapamientos y esos los detectamos porque si convertimos a conjunto (okset(),) las direcciones de cada grupo, aquellos grupos que corresponden a direcciones idénticas o individuales tendrán un solo elemento repetidas y las(pues el tipo solapadasset(): elimina duplicados).

ok = []
repetidas = []
solapadas = []

for _, g in grupos:
  grupo = list(g)
  if len(grupo) == 1:
    ok.extend(grupo)
  elif len(set(grupo))>1:
    solapadas.extend(grupo)
  else:
    repetidas.extend(grupo)

Lo que obtenemos finalmente en las listas clasificadas esAsí pues usamos esta idea para quedarnos sólo con los casos de solapes:

['20.49.128.0/17']          repetidas = []

for _, g in grupos:
  grupo #= oklist(g)
['20.84.34.0/24', '20.84.34.0/24']   #if repetidaslen(set(grupo))>1:
['20.85.50.0/23', '20.85.51.0/24']   # solapadas.extend(grupo)

Filtramos las filas según la red esté o no en una de las tres listas anteriores y asignamos la cadena apropiada en cada caso a la columna "Status"

df.loc[df["Network Add"].isin(ok), "Status"]df["Status"] = "OK"
df.loc[df["Network Add"]loc[df.isinduplicated(repetidas"Interface IP", False), "Status"] = "Duplicated"
df.loc[df["Network Add"].isin(solapadas), "Status"] = "Overlapped"
    Site IP Site Name Instance  ...     Network Add   Interface IP      Status
0  20.X.X.4   ROUTER4    VPRN1  ...   20.85.50.0/23     20.85.50.1  Overlapped
1  20.X.X.1   ROUTER1    VPRN1  ...  20.49.128.0/17  20.49.208.129          OK
2  20.X.X.5   ROUTER5    VPRN1  ...   20.85.51.0/24     20.85.51.1  Overlapped
3  20.X.X.2   ROUTER2    VPRN1  ...   20.84.34.0/24     20.84.34.3  Duplicated
4  20.X.X.6   ROUTER3    VPRN1  ...   20.84.34.0/24     20.84.34.5          OK
5  20.X.X.3   ROUTER3    VPRN1  ...   20.84.34.0/24     20.84.34.3  Duplicated

O es que la pregunta se las trae, o es que estoy yo muy espeso porque después de muchas vueltas solo se me ha ocurrido lo siguiente, que es muy largo. ¡Disculpa!

  1. Extraer la columna "Network Add" a una lista
  2. Ordenar la lista usando una función key especial que utilice la clase ipaddress.IPv4Network, que es capaz de detectar si dos redes en notación CDIR se solapan.
  3. Aplicar itertools.groupby() sobre esa lista ordenada, y usar para agrupar la misma función especial con que ordenamos la columna.
  4. Procesar el resultado de ese groupby() para clasificar cada grupo en diferentes casos: IP única, IP repetida, IPs solapadas.

Tras todo lo anterior, tendremos tres listas unicas, repetidas y solapadas las cuales han clasificado todos los valores de la columna "Network Add" en uno de esos tres grupos.

Finalmente asignamos a la columna "Status" del dataframe la cadena "OK", "Repeated" u "Overlapped" según el valor de la celda "Network Add" esté en una de las tres listas antes construidas.

Pero antes de nada, corregir los datos de ejemplo que pones, ya que el caso 20.85.51.0/23 no es válido por tener a 1 un bit de host. Debería ser 20.85.50.0/23. Y el siguiente 20.85.52.0/24, aunque es válido, no produciría solapamiento con el anterior. Para que lo produzca lo cambio por 20.85.51.0/24

De paso, desordeno las filas para que no queden juntas las IPs que son iguales o solapadas, y así sea más difícil.

De modo que mi dataframe es:

Site IP     Site Name   Instance    Interface Name  Network Add     Interface IP
20.X.X.4    ROUTER4     VPRN1       interface4      20.85.50.0/23   20.85.50.1
20.X.X.1    ROUTER1     VPRN1       interface1      20.49.128.0/17  20.49.208.129   
20.X.X.5    ROUTER5     VPRN1       interface5      20.85.51.0/24   20.85.51.1
20.X.X.2    ROUTER2     VPRN1       interface2      20.84.34.0/24   20.84.34.3
20.X.X.3    ROUTER3     VPRN1       interface3      20.84.34.0/24   20.84.34.3
['20.49.128.0/17',
 '20.84.34.0/24',
 '20.84.34.0/24',
 '20.85.50.0/23',
 '20.85.51.0/24']
  • Una sola IP
  • Varias IPs que son idénticas
  • Varias IPs que se han considerado iguales porque se solapaban

Basándonos el la longitud de la lista que obtenemos para cada grupo determinamos:

  • Si la longitud es 1, el grupo solo tiene un elemento, por tanto es una IP no duplicada
  • En caso contrario pueden ser varias IPs duplicadas, o varias diferentes pero que se solapan. Para distinguir ambos, se convierte el grupo en un set(). Ya que los set() eliminan los elementos idénticos, si el tamaño del conjunto resultante era 1, es que eran IPs idènticas. En otro caso eran solapadas.

Así pues usamos esta idea para ir poblando tres listas, que contendrán respectivamente las IPs ok, las repetidas y las solapadas:

ok = []
repetidas = []
solapadas = []

for _, g in grupos:
  grupo = list(g)
  if len(grupo) == 1:
    ok.extend(grupo)
  elif len(set(grupo))>1:
    solapadas.extend(grupo)
  else:
    repetidas.extend(grupo)

Lo que obtenemos finalmente en las listas clasificadas es:

['20.49.128.0/17']                   # ok
['20.84.34.0/24', '20.84.34.0/24']   # repetidas
['20.85.50.0/23', '20.85.51.0/24']   # solapadas

Filtramos las filas según la red esté o no en una de las tres listas anteriores y asignamos la cadena apropiada en cada caso a la columna "Status"

df.loc[df["Network Add"].isin(ok), "Status"] = "OK"
df.loc[df["Network Add"].isin(repetidas), "Status"] = "Duplicated"
df.loc[df["Network Add"].isin(solapadas), "Status"] = "Overlapped"
    Site IP Site Name Instance  ...     Network Add   Interface IP      Status
0  20.X.X.4   ROUTER4    VPRN1  ...   20.85.50.0/23     20.85.50.1  Overlapped
1  20.X.X.1   ROUTER1    VPRN1  ...  20.49.128.0/17  20.49.208.129          OK
2  20.X.X.5   ROUTER5    VPRN1  ...   20.85.51.0/24     20.85.51.1  Overlapped
3  20.X.X.2   ROUTER2    VPRN1  ...   20.84.34.0/24     20.84.34.3  Duplicated
4  20.X.X.3   ROUTER3    VPRN1  ...   20.84.34.0/24     20.84.34.3  Duplicated

Actualización

Tras conversaciones en el chat, se clarifica que la detección de IPs duplicadas debe hacerse en base a la columna "Interface IP", mientras que los rangos solapados han de hallarse en base a la columna "Network Add".

En base a esto he cambiado ligeramente la respuesta original, en lugar de hacer un añadido, pues los cambios afectan a varias partes.

La solución que se me ha ocurrido, aunque un poco farragosa de explicar, es al final corta de implementar y muy general. Creo que funciona en todos los casos. La idea es la siguiente.

  • Detectar los duplicados en la columna "Interface IP" es sencillo, pues Pandas ya nos da un método dataframe.duplicated() (al final lo usamos)
  • Detectar el solapamiento de regiones es más complejo, especialmente si pueden aparecer en cualquier orden, pues de algún modo hay que comparar todas con todas. El módulo ipaddress puede ayudar aquí en la parte que determina si dos rangos expresados en CDIR se solapan o no.

La idea para la segunda cuestión sería como sigue:

  1. Extraer la columna "Network Add" a una lista
  2. Ordenar la lista usando una función key especial que devuelva 0 si dos direcciones se solapan (usará para ello la clase ipaddress.IPv4Network)
  3. Aplicar itertools.groupby() sobre esa lista ordenada, y usar para agrupar la misma función especial con que ordenamos la columna. Esto creará grupos en los que meterá todas las "Network Add" solapadas, aunque también meterá en grupos separados las que tengan "Network Add" repetidas (que en realidad no cuentan en este problema), y también creará grupos con un solo elemento para las que tengan valores únicos.
  4. Procesar el resultado de ese groupby() para crear una lista sólo con los casos solapados.

Finalmente asignamos a la columna "Status" del dataframe la cadena "OK" por defecto en todas las filas, y después la cadena "Repeated" sólo a aquellas que dataframe.repeated() detecte según la columna "Interface IP", y después la cadena "Overlapped" solo a aquellas cuya "Network Add" figure en la lista que hemos construido en el paso 4.

Pero antes de nada, corregir los datos de ejemplo que pones, ya que el caso 20.85.51.0/23 no es válido por tener a 1 un bit de host. Debería ser 20.85.50.0/23. Y el siguiente 20.85.52.0/24, aunque es válido, no produciría solapamiento con el anterior. Para que lo produzca lo cambio por 20.85.51.0/24

De paso, desordeno las filas para que no queden juntas las IPs que son solapadas, y añado otro caso en el que la "Network Add" es la misma, pero la "Interface Ip" es diferente, para que así sea más difícil.

De modo que mi dataframe es:

Site IP     Site Name   Instance    Interface Name  Network Add     Interface IP
20.X.X.4    ROUTER4     VPRN1       interface4      20.85.50.0/23   20.85.50.1
20.X.X.1    ROUTER1     VPRN1       interface1      20.49.128.0/17  20.49.208.129   
20.X.X.5    ROUTER5     VPRN1       interface5      20.85.51.0/24   20.85.51.1
20.X.X.2    ROUTER2     VPRN1       interface2      20.84.34.0/24   20.84.34.3
20.X.X.6    ROUTER3     VPRN1       interface3      20.84.34.0/24   20.84.34.5
20.X.X.3    ROUTER3     VPRN1       interface3      20.84.34.0/24   20.84.34.3
['20.49.128.0/17',
 '20.84.34.0/24',
 '20.84.34.0/24',
 '20.84.34.0/24',
 '20.85.50.0/23',
 '20.85.51.0/24']
  • Una sola IP
  • Varias IPs que son idénticas (según la columna "Network Add"
  • Varias IPs que se han considerado iguales porque se solapaban

Queremos quedarnos solo con aquellos casos que correspondan a solapamientos y esos los detectamos porque si convertimos a conjunto (set()) las direcciones de cada grupo, aquellos grupos que corresponden a direcciones idénticas o individuales tendrán un solo elemento (pues el tipo set() elimina duplicados).

Así pues usamos esta idea para quedarnos sólo con los casos de solapes:

repetidas = []

for _, g in grupos:
  grupo = list(g)
  if len(set(grupo))>1:
    solapadas.extend(grupo)
df["Status"] = "OK"
df.loc[df.duplicated("Interface IP", False), "Status"] = "Duplicated"
df.loc[df["Network Add"].isin(solapadas), "Status"] = "Overlapped"
    Site IP Site Name Instance  ...     Network Add   Interface IP      Status
0  20.X.X.4   ROUTER4    VPRN1  ...   20.85.50.0/23     20.85.50.1  Overlapped
1  20.X.X.1   ROUTER1    VPRN1  ...  20.49.128.0/17  20.49.208.129          OK
2  20.X.X.5   ROUTER5    VPRN1  ...   20.85.51.0/24     20.85.51.1  Overlapped
3  20.X.X.2   ROUTER2    VPRN1  ...   20.84.34.0/24     20.84.34.3  Duplicated
4  20.X.X.6   ROUTER3    VPRN1  ...   20.84.34.0/24     20.84.34.5          OK
5  20.X.X.3   ROUTER3    VPRN1  ...   20.84.34.0/24     20.84.34.3  Duplicated
Origen Enlace
abulafia
  • 58.7k
  • 3
  • 54
  • 89

O es que la pregunta se las trae, o es que estoy yo muy espeso porque después de muchas vueltas solo se me ha ocurrido lo siguiente, que es muy largo. ¡Disculpa!

  1. Extraer la columna "Network Add" a una lista
  2. Ordenar la lista usando una función key especial que utilice la clase ipaddress.IPv4Network, que es capaz de detectar si dos redes en notación CDIR se solapan.
  3. Aplicar itertools.groupby() sobre esa lista ordenada, y usar para agrupar la misma función especial con que ordenamos la columna.
  4. Procesar el resultado de ese groupby() para clasificar cada grupo en diferentes casos: IP única, IP repetida, IPs solapadas.

Tras todo lo anterior, tendremos tres listas unicas, repetidas y solapadas las cuales han clasificado todos los valores de la columna "Network Add" en uno de esos tres grupos.

Finalmente asignamos a la columna "Status" del dataframe la cadena "OK", "Repeated" u "Overlapped" según el valor de la celda "Network Add" esté en una de las tres listas antes construidas.

Así que vamos a ver cómo hacer cada uno de estos pasos:

Pero antes de nada, corregir los datos de ejemplo que pones, ya que el caso 20.85.51.0/23 no es válido por tener a 1 un bit de host. Debería ser 20.85.50.0/23. Y el siguiente 20.85.52.0/24, aunque es válido, no produciría solapamiento con el anterior. Para que lo produzca lo cambio por 20.85.51.0/24

De paso, desordeno las filas para que no queden juntas las IPs que son iguales o solapadas, y así sea más difícil.

De modo que mi dataframe es:

Site IP     Site Name   Instance    Interface Name  Network Add     Interface IP
20.X.X.4    ROUTER4     VPRN1       interface4      20.85.50.0/23   20.85.50.1
20.X.X.1    ROUTER1     VPRN1       interface1      20.49.128.0/17  20.49.208.129   
20.X.X.5    ROUTER5     VPRN1       interface5      20.85.51.0/24   20.85.51.1
20.X.X.2    ROUTER2     VPRN1       interface2      20.84.34.0/24   20.84.34.3
20.X.X.3    ROUTER3     VPRN1       interface3      20.84.34.0/24   20.84.34.3

1. Extraer la columna

Esta es sencilla:

networks = list(df["Network Add"])

2. Ordenar la columna

Esto es necesario para que las IPs que sean iguales queden juntas. Y consideraremos también "iguales" (de momento) aquellas que se solapen.

Necesitamos escribir una función que pueda comparar dos IPs en formato CDIR y retorne 0 si son iguales (o se solapan), -1 si la primera es anterior a la segunda, o 1 en caso contrario. Sería así:

from ipaddress import IPv4Network

def compare(add1, add2):
  add1 = IPv4Network(add1, strict=False)
  add2 = IPv4Network(add2, strict=False)
  if add1.overlaps(add2):
    return 0
  else:
    return add1.compare_networks(add2)

Para poder usar esa función como key (tanto en sorted() como después en groupby()) necesitamos transformarla con ayuda de functools.cmp_to_key():

from functools import cmp_to_key
compare_key = cmp_to_key(compare)

Con esto finalmente ordenar las redes es una sola instrucción:

networks = sorted(networks, key=compare_key)

El resultado una vez ordenadas vemos que ha dejado juntas a las que son idénticas o se solapan:

['20.49.128.0/17',
 '20.84.34.0/24',
 '20.84.34.0/24',
 '20.85.50.0/23',
 '20.85.51.0/24']

3. Agruparlas

from itertools import groupby

grupos = groupby(networks, key=compare_key)

Esto creará varios grupos separados. En cada grupo puede haber:

  • Una sola IP
  • Varias IPs que son idénticas
  • Varias IPs que se han considerado iguales porque se solapaban

4. Clasificarlas

El resultado que tenemos en grupos es un iterable. En cada iteración nos devuelve una tupla cuyo primer elemento es una clave (no nos interesa, la podemos ignorar) y el segundo elemento es otro iterable que podemos convertir en lista para obtener los miembros de ese grupo.

Basándonos el la longitud de la lista que obtenemos para cada grupo determinamos:

  • Si la longitud es 1, el grupo solo tiene un elemento, por tanto es una IP no duplicada
  • En caso contrario pueden ser varias IPs duplicadas, o varias diferentes pero que se solapan. Para distinguir ambos, se convierte el grupo en un set(). Ya que los set() eliminan los elementos idénticos, si el tamaño del conjunto resultante era 1, es que eran IPs idènticas. En otro caso eran solapadas.

Así pues usamos esta idea para ir poblando tres listas, que contendrán respectivamente las IPs ok, las repetidas y las solapadas:

ok = []
repetidas = []
solapadas = []

for _, g in grupos:
  grupo = list(g)
  if len(grupo) == 1:
    ok.extend(grupo)
  elif len(set(grupo))>1:
    solapadas.extend(grupo)
  else:
    repetidas.extend(grupo)

Lo que obtenemos finalmente en las listas clasificadas es:

['20.49.128.0/17']                   # ok
['20.84.34.0/24', '20.84.34.0/24']   # repetidas
['20.85.50.0/23', '20.85.51.0/24']   # solapadas

Paso final: guardar resultado en dataframe

Filtramos las filas según la red esté o no en una de las tres listas anteriores y asignamos la cadena apropiada en cada caso a la columna "Status"

df.loc[df["Network Add"].isin(ok), "Status"] = "OK"
df.loc[df["Network Add"].isin(repetidas), "Status"] = "Duplicated"
df.loc[df["Network Add"].isin(solapadas), "Status"] = "Overlapped"

Podemos observar que el resultado es correcto (recuerda que había desordenado las filas para ver si aún así funcionaba correctamente):

    Site IP Site Name Instance  ...     Network Add   Interface IP      Status
0  20.X.X.4   ROUTER4    VPRN1  ...   20.85.50.0/23     20.85.50.1  Overlapped
1  20.X.X.1   ROUTER1    VPRN1  ...  20.49.128.0/17  20.49.208.129          OK
2  20.X.X.5   ROUTER5    VPRN1  ...   20.85.51.0/24     20.85.51.1  Overlapped
3  20.X.X.2   ROUTER2    VPRN1  ...   20.84.34.0/24     20.84.34.3  Duplicated
4  20.X.X.3   ROUTER3    VPRN1  ...   20.84.34.0/24     20.84.34.3  Duplicated