Podemos empezar por usar un índice jerárquico, para que todo quede agrupado por continente primero, después por país, y finalmente por ciudad:
table = df.set_index(["continente", "pais", "ciudad"])
Resultado:
valor
continente pais ciudad
Europa España Madrid 8
Barcelona 6
Valencia 5
Suiza Lausana 9
ginebra 6
zurich 5
Francia Paris 8
America Estados Unidos Nueva York 8
San Francisco 7
Los Angeles 6
Canadá Toronto 5
Ahora podemos procesar esta tabla agrupando por niveles, y en cada nivel calculamos la suma total, e iteramos por el subnivel para hacer lo mismo. Los resultados los vamos recogiendo en un diccionario cuya clave sea el nombre (continente, pais o ciudad según corresponda en cada nivel) y cuyo valor sea la suma de ese nivel.
Ya que son tres niveles (contando el nivel "ciudad") habrá tres bucles anidados. Para mayor claridad a la hora de mostrar la tabla, añadiré espacios por la izquierda en el nombre del pais o ciudad, para que quede indentado como en una jerarquía.
Este sería el código:
result = {}
for k,d in table.groupby(level=0):
result.update({k: sum(d.valor)})
for k, d in d.groupby(level=1):
result.update({f" {k}": sum(d.valor)})
for k, d in d.groupby(level=2):
result.update({f" {k}": sum(d.valor)})
El diccionario resultante se puede convertir en una tabla pandas:
resultado = pd.DataFrame.from_dict(result, orient="index", columns=["valor"])
Y esta es la tabla resultante:
valor
America 26
Canadá 5
Toronto 5
Estados Unidos 21
Los Angeles 6
Nueva York 8
San Francisco 7
Europa 47
España 19
Barcelona 6
Madrid 8
Valencia 5
Francia 8
Paris 8
Suiza 20
Lausana 9
ginebra 6
zurich 5
Generalización
Los tres bucles anidados valen para este caso en que hay tres niveles en el multi-index. En un caso general se puede hacer una función que cree el diccionario necesario recursivamente:
def aggregate_levels(table, r, level=0, column="valor"):
if level>=len(table.index.levshape):
return
for k, d in table.groupby(level=level):
r[f"{' '*level}{k}"] = sum(d[column])
aggregate_levels(d, r, level+1)
Esto agrega por totales cada nivel, hasta llegar al más bajo. Se usaría así en este caso:
result = {}
aggregate_levels(table, result)
y daría en este caso el mismo resultado antes mostrado (una vez convertido a DataFrame como se mostró antes)