3

estoy en intentando crear un programa para calculo y diseño de desagües pluviales urbanos (Hidráulica). Para ello deseo crear un input y output desde Excel, y debido a que se usan listas de datos estoy usando pandas para calcular y generar nuevas columnas que calculen lo que necesito. Antes de continuar debo explicar vagamente que es lo que pretendo hacer y en que consta el problema. El calculo de desagües pluviales urbanos consiste en determinar áreas (subcuencas) que aportan agua de lluvia (caudales) a un punto bajo, donde se instalaran las bocas de tormenta que introducen agua a un conducto o caño subterráneo, el cual tiene como destino final algún rió o arroyo. A medida que el conducto o caño va avanzando por las diferentes esquinas, se van sumando los caudales de mas subcuencas o áreas. La idea es determinar que caudal va a llevar cada pedazo o tramo de conducto. Dejo una imagen para que se hagan una idea de que estoy hablandointroducir la descripción de la imagen aquí Viendo esta imagen les puedo decir que los puntos rojos (nodos) son donde van las bocas de tormenta que agregan agua al conducto o caño (azul). De esta forma por el nodo 1 solo pasa el agua de él mismo, mientras que el 2 ya suma lo del 1 y el 2. El 3 suma 1+2+3 y el 4 suma 1+2+3+4 y a su ves lo del ramal 1.1+1.2+1.3, es decir que a partir del nodo 4 se suman los caudales 1+2+3+4+1.1+1.2+1.3. Entonces para indicar esto se me ocurro la siguiente notación en el excel: tengo tres columnas que indica que nodos se empalman con el actual. introducir la descripción de la imagen aquí Logre a través de .map que por ejemplo que al nodo 4 se le sumen los caudales del nodo 3 y el nodo 1.3(columna agregada 'Qconex'), pero no puedo lograr que se sumen los otros que se conectan mas arriba. Es ahi donde tengo mi problema. Entonces necesito alguna forma de que cuando yo indico en el excel que al tramo 4 se le conecta el tramo 3, de alguna forma busque que tramo se conecta al 3 (en este caso el 2) y que de ahi busque que tramo se conecta al 2 (el 1) y asi sucesivamente hasta que se encuentre que no se suma mas nada. Por ejemplo para este caso en particular termino en el nodo 26, que suma el 25+24+23+..+1.

Para facilitarles la ubicación del problema debo que hasta la linea siguiente vengo calculando los caudales de subcuencas y esta todo 'en orden'

#agregando columna de caudales al df
df_filtro['Qsub'] = df_filtro.apply(Qsub, axis=1)

Bueno espero haber sido lo suficientemente claro y no haberlos mareado. Dejo el excel aqui

y a continuacion el codigo:

#importando librerias Pandas
import pandas as pd
#definiendo ruta de archivo input
archivo = 'C:/Users/Lucho/Python/MR.xlsx'
#definiendo dataframe
df = pd.read_excel(archivo)

#definicion de paramtros de ec de lluvia
a = float(df.iloc[4]['C']) #parametro a de la ec In=a*Tc^b
b = float(df.iloc[5]['C']) #parametro b de la ec In=a*Tc^b

#dejando solo datos de subcuencas en el df
df_filtro = df.drop([0,1,2,3,4,5,6,7,8])

#calculando la intensidad para cada SC
def calcularIntensidad(E):
    intensidad = a*(E/60)**b
    return intensidad

#agregando columna de intensidad al df
df_filtro['Intensidad'] = df_filtro['E'].apply(calcularIntensidad)

#calculando caudal de cada SC
def Qsub(fila):
    Qsub = fila['B']*fila['C']*fila['Intensidad']/360
    return Qsub

#agregando columna de caudales al df
df_filtro['Qsub'] = df_filtro.apply(Qsub, axis=1)

#sumando caudales de conexiones de SC (topologia)
df_filtro.set_index('A',inplace=True)                 #cambio de indexado necesario para sumar caudales
df_filtro['QC1'] = df_filtro.F.map(df_filtro.Qsub)    #generacion de columna que indica caudal de conexion nº1
df_filtro['QC2'] = df_filtro.G.map(df_filtro.Qsub)    #generacion de columna que indica caudal de conexion nº2
df_filtro['QC3'] = df_filtro.H.map(df_filtro.Qsub)    #generacion de columna que indica caudal de conexion nº3
df_filtro = df_filtro.fillna(0)                       #reemplazo de celdas vacias por 0
df_filtro['Qconex'] = df_filtro['Qsub']+df_filtro['QC1']+df_filtro['QC2']+df_filtro['QC3'] #suma de caudales del tramo (esto esta mal)


print(df_filtro)

Espero me puedan ayudar!

Muchas gracias.

Lucho.

2
  • podrias mirar el recorrido de bienvenida para saber como funcionamos? muy buena primera pregunta...
    – gbianchi
    Commented el 26 ene. 2021 a las 13:47
  • lo haré. Gracias Commented el 26 ene. 2021 a las 14:06

1 respuesta 1

2

Si no lo entendí mal, una forma de resolverlo sería ir calculando el "caudal acumulado" en cada uno de los nodos. Llamemos a este "caudal acumulado" Qtotal.

Inicialmente ese Qtotal sería igual al Qsub que ya tienes calculado en cada nodo. Despúes se aumentaría añadiendo a ése Qtotal el Qtotal de los nodos que están conectados con éste.

Con tal de que la hoja Excel mantenga un orden particular, el método funcionaría sin más que recorrer las filas en orden. El orden particular es tal que cada vez que un nodo enumera qué otros nodos "vierten caudal" en él, esos otros nodos hayan aparecido antes en la hoja.

En la hoja que has adjuntado esta propiedad se cumple. Por tanto podríamos proceder en la forma siguiente:

Leer la hoja y preparar la columna Qsub

Este es básicamente tu código, lo pongo aquí para que la respuesta esté completa, pero no lo he cambiado.

import pandas as pd
archivo = '/ruta/al/fichero/MR.xlsx'
df = pd.read_excel(archivo)

#definicion de paramtros de ec de lluvia
a = float(df.iloc[4]['C']) #parametro a de la ec In=a*Tc^b
b = float(df.iloc[5]['C']) #parametro b de la ec In=a*Tc^b

#dejando solo datos de subcuencas en el df
df_filtro = df.drop(range(9))
def calcularIntensidad(E):
    intensidad = a*(E/60)**b
    return intensidad

#agregando columna de intensidad al df
df_filtro['Intensidad'] = df_filtro['E'].apply(calcularIntensidad)

#calculando caudal de cada SC
def Qsub(fila):
    Qsub = fila['B']*fila['C']*fila['Intensidad']/360
    return Qsub

#agregando columna de caudales al df
df_filtro['Qsub'] = df_filtro.apply(Qsub, axis=1)

Computando los caudales totales

Primero preparamos una estructura de datos que va a ser un diccionario cuyas claves son los nodos (1, 1.1, etc.) y cuyos valores serán al terminar los caudales totales. Inicialmente ponemos como datos los valores en Qsub.

qtotal = df_filtro.set_index("A").Qsub.to_dict()

Un fragmento de este diccionario para que te hagas una idea de lo que contiene:

{1.0: 0.3672984426540078,
 1.1: 0.6586841046751778,
 1.2: 0.19831040522163326,
 1.3: 0.3676265336618027,
 2.0: 0.25584700565539287,
 ...
 25.0: 0.3393566547730289,
 26.0: 0.49524935687621324}

Ahora vamos recorriendo las filas del dataframe por orden, para ir actualizando el diccionario anterior. El truco es sacar de cada fila cuáles son los otros nodos conectados al que se está procesando (valores de las columnas F, G y H, si son distintos de NaN), para luego tomar del diccionario anterior cuáles son los caudales de esos otros nodos. Finalmente, lo más importante, escribir en ese mismo diccionario de nuevo el resultado, para que cuando nodos siguientes vayan a tomar el caudal, obtengan ya sumado el de las sub-cuencas.

for _, fila in df_filtro.iterrows():
  conexiones = fila[["F", "G", "H"]]
  nodo = fila["A"]
  for c in conexiones:
    if pd.notna(c):    # Omitimos si era NaN
      qtotal[nodo] += qtotal[c]

Al terminar este bucle el diccionario qtotal ha quedado así:

{1.0: 0.3672984426540078,
 1.1: 0.6586841046751778,
 1.2: 0.856994509896811,
 1.3: 1.2246210435586138,
 2.0: 0.6231454483094007,
 ...
 25.0: 20.753168517871362,
 26.0: 21.248417874747574}

Espero que estos números coincidan con lo que esperabas!

Creación del dataframe final

Una vez tenemos esos resultados, podemos añadirlos al dataframe que tenías, para así poder generar si lo deseas otra excel con los resultados. Para ello convertimos la columna A en índice, para que de ese modo Pandas pueda hacer corresponder las claves del diccionario qtotal a las filas apropiadas, añadimos la columna creando un nuevo dataframe con solo esa columna a partir del diccionario, y reseteamos el índice del resultado para que vuelva a aparecer la columna "A" y así tengas la hoja como la esperabas en la excel.

df_filtro = df_filtro.set_index("A")
df_filtro["Qtotal"] = pd.DataFrame.from_dict(qtotal, orient="index")
df_filtro = df_filtro.reset_index()

Estas son las diez primeras filas de la hoja resultante:

Resultado

Ampliación

¿Y si no se cumpliera la condición de que los datos vengan ordenados? En ese caso el algoritmo anterior fallaría porque cuando se va a computar un Qtotal basándose en los Qtotal de sus "afluentes", éstos no estarían actualizados (pues se actualizarían en iteraciones posteriores).

Resolver este segundo caso es más complejo. Implica:

  1. Recorrer el dataframe completo para ir recopilando información de cómo están conectados los nodos entre sí y el caudal Qsub de cada uno. Esta información deberá almacenarse en una estructura de datos tipo arbol en el que cada nodo tendrá una serie de "hijos" que son sus afluentes.
  2. Una vez se tiene el árbol, utilizarlo para computar recursivamente el caudal de cada nodo, que sería igual al Qsub de ese nodo, más el caudal total de cada uno de sus hijos. Ya que el caudal total se computará recursivamente, cada hijo será invocado para calcular el suyo propio. Eso hará que se vaya descendiendo por el árbol hasta llegar a sus "hojas" (los nodos que no tienen afluentes), para remontarlo seguidamente hacia arriba sumando los caudales agregados de los hijos.

Para hacer todo esto un diccionario puede no ser ya la estructura más adecuada. Diseñaré una clase propia llamada Nodo que contendrá:

  • Su caudal parcial (Qsub) en su atributo valor
  • Una lista de nodos-hijo (cada uno a su vez de tipo Nodo), en su atributo children
  • El caudal total en su atributo total, inicialmente None para indicar que aún no se ha computado
  • Un método para computar (recursivamente) el caudal total. A este método se le llamaría al final, cuando ya el árbol esté completo.

Esta sería la clase:

class Nodo:
  def __init__(self, valor=0):
    self.valor = valor
    self.children = []
    self.total = None

  def compute_total(self):
    # Si self.total es None es que aún no había sido computado el total
    # de este nodo
    if self.total is None:
      self.total = self.valor
      for child in self.children:
        self.total += child.compute_total()  # Observese la recursividad
    # Una vez computado, retornamos el resultado
    return self.total

El constructor de la clase puede recibir como parámetro el valor de Qsub inicial, o bien no recibir nada (con lo que se inicializará con 0). Esto es para permitir crear un nuevo Nodo la primera vez que sea mencionado como hijo de otro, incluso si aún no habíamos leído su valor de Qsub. Más adelante, cuando leamos ese nodo actualizaremos su valor.

El bucle que iría creando el árbol con todos los nodos y sus relaciones sería el siguiente:

arbol = {}
for _, fila in df_filtro.iterrows():
  conexiones = fila[["F", "G", "H"]]
  nodo = fila["A"]
  valor = fila["Qsub"]
  if nodo not in arbol:          # Si es un nodo nuevo, lo creamos con su valor de Qsub
    arbol[nodo] = Nodo(valor)
  else:
    arbol[nodo].valor = valor    # Si ya había aparecido, actualizamos su valor de Qsub

  # Ahora procesamos las conexiones que llegan a él
  for c in conexiones:
    if pd.isnull(c):    # Nos saltamos los NaN
      continue
    
    if c not in arbol:   # Si se hace mención a un hijo que no había aparecido antes
      arbol[c] = Nodo()  # se crea sin valor inicial (ya se actualizará cuando llegue)
    # Añadimos el nodo c a la lista de hijos del nodo que estamos procesando
    arbol[nodo].children.append(arbol[c])

Tras ejecutar el bucle anterior, arbol es un diccionario cuyas claves son los nombres "1", "1.1", "1.2" etc... y los valores son datos de tipo Nodo, los cuales contienen toda la información de interconexiones a través de sus hijos. Podemos entonces iterar y computar el total en cada uno:

qtotal = {}
for nombre, nodo in arbol.items():
  qtotal[nombre] = nodo.compute_total()

El diccionario qtotal resultante sería el mismo de la respuesta previa, y puede agregarse como una columna nueva al dataframe igual que se mostró antes.

Teóricamente este enfoque debería funcionar también aunque las filas vengan desordenadas. He hecho algunas pruebas con datasets más pequeños y parece funcionar.

8
  • 1
    @LucianoRossi He ampliado la respuesta con otro algoritmo que funcionaría incluso si las filas vienen desordenadas
    – abulafia
    Commented el 26 ene. 2021 a las 19:43
  • impecable lo suyo! muchas gracias Commented el 26 ene. 2021 a las 19:52
  • Incidentalmente, comentar que en el fondo así es cómo funcionan las hojas de cálculo. Internamente la hoja de cálculo va construyendo un árbol en el que codifica qué celdas dependen de otras y a través de qué fórmulas. Cuando una celda se modifica, se usa el árbol para recomputar desde ella "hacia arriba" todas las que dependan de ella.
    – abulafia
    Commented el 26 ene. 2021 a las 19:55
  • estuve probando el codigo ampliado, primero en el orden original y luego cambiando la fila del nodo 4 antes de la fila del nodo 1.3 y me dan valores diferentes. Ya a esta altura los codigos que me pasasate son chino basico para mi, recien hace 2 semanas arranque a programar, antes de esto solo hacia macros en excel así que imagínate la idea que puedo llegar a tener. En fin no se si copie mal algo o si se escapo algo en tu codigo. Espero me vuelvas a ilustrar Commented el 26 ene. 2021 a las 20:11
  • 1
    Acabo de probar y me dan exactamente el mismo resultado. Es más, he probado a crear un dataframe partiendo del MR original, pero reordenando todas las filas usando df_filter.sort_values(by="B"), de modo que queden ordenados por área. Eso cambia completamente el orden en que aparecen los nodos. Pues con esto el segundo algoritmo sigue dando los mismos resultados que el primer algoritmo sobre el MR sin desordenar. Algo habrás hecho mal a la hora de aplicarlo a la segunda excel. Revisa tus variables.
    – abulafia
    Commented el 26 ene. 2021 a las 20:29

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.