Podemos empezar por usar un índice jerárquico, para que todo quede agrupado por continente primero, después por país, y finalmente por ciudad:
table = df.set_index(["continente", "pais", "ciudad"])
Resultado:
valor
continente pais ciudad
Europa España Madrid 8
Barcelona 6
Valencia 5
Suiza Lausana 9
ginebra 6
zurich 5
Francia Paris 8
America Estados Unidos Nueva York 8
San Francisco 7
Los Angeles 6
Canadá Toronto 5
Ahora podemos procesar esta tabla agrupando por niveles, y en cada nivel calculamos la suma total, e iteramos por el subnivel para hacer lo mismo. Los resultados los vamos recogiendo en un diccionario cuya clave sea el nombre (continente, pais o ciudad según corresponda en cada nivel) y cuyo valor sea la suma de ese nivel.
Ya que son tres niveles (contando el nivel "ciudad") habrá tres bucles anidados. Para mayor claridad a la hora de mostrar la tabla, añadiré espacios por la izquierda en el nombre del pais o ciudad, para que quede indentado como en una jerarquía.
Este sería el código:
result = {}
for k,d in table.groupby(level=0):
result.update({k: sum(d.valor)})
for k, d in d.groupby(level=1):
result.update({f" {k}": sum(d.valor)})
for k, d in d.groupby(level=2):
result.update({f" {k}": sum(d.valor)})
El diccionario resultante se puede convertir en una tabla pandas:
resultado = pd.DataFrame.from_dict(result, orient="index", columns=["valor"])
Y esta es la tabla resultante:
valor
America 26
Canadá 5
Toronto 5
Estados Unidos 21
Los Angeles 6
Nueva York 8
San Francisco 7
Europa 47
España 19
Barcelona 6
Madrid 8
Valencia 5
Francia 8
Paris 8
Suiza 20
Lausana 9
ginebra 6
zurich 5