0

Tengo un Data Frame de Indicadores Mundiales. En este se contiene información de 200 países, a lo largo de 54 años y con poco más de 1300 indicadores distintos.

Estoy haciendo limpieza de mi Data Frame pero acabo de toparme con el hecho de que no tengo un indicador que me sería de mucha ayuda. Pero también sé que puedo generar ese indicador para cada país y para cada año pero no sé bien cómo hacer esto en el código.

Básicamente necesito insertar una fila para cada año en cada uno de los países. Para esto quiero conservar el valor de la columna "Year", así como también el valor de la columna "CountryName" y el de la columna "CountryCode" pero modificar la columna "IndicatorName" y la columna "Value".

Básicamente el proceso es el siguiente: para cada País y para cada año, necesito hacer la suma de la columna "Value" de 3 diferentes indicadores. Una vez hecho esto, necesito agregar una nueva fila por país y por año (lo que da un total de cerca de 54*200 = 10,800 filas que tengo que añadir). El nombre del Indicador sería el mismo para todas estas filas pero no es un nombre que esté en el Data Frame, lo único que cambiaria sería el valor del "Value" dependiendo de la suma que se haga para cada año/país sobre el que se esté iterando.

Intenté buscar formas de hacerlo pero la verdad no encontré nada en internet, por esto mismo les pido ayuda con esta pequeña tarea. En caso de que no tengan alguna idea de cómo realizarla tendré que abandonar esta actividad en mi proyecto.

Gracias de antemano

2 respuestas 2

0

Antes que nada bienvenido a Stack Overflow en español. Si pude entender bien tu problema, puede que sea sencillo hacerlo, explicarlo y entenderlo quizás no tanto. Espero pueda ayudarte de guía para lo que estas buscando. Debes tener en cuenta que para que podamos ayudarte a entender tu problema, deberías compartir tu progreso y el código que intentaste hacer, el output deseado y el error que te arroja el programa.

Volviendo a tu planteo, hice un DataFrame tratando de simular tus datos:

import pandas as pd
import numpy as np
datos = [
['001','España','Indicador1',2000,52],
['001','España','Indicador1',2000,102],
['001','España','Indicador5',1999,42],
['001','España','Indicador5',1999,58],
['001','España','Indicador6',1998,22],
['002','Alemania','Indicador1',2000,52],
['002','Alemania','Indicador1',2000,42],
['002','Alemania','Indicador5',1999,100],
['002','Alemania','Indicador5',1999,10],
['002','Alemania','Indicador6',1998,11],
['003','Francia','Indicador1',2000,60],
['003','Francia','Indicador1',2000,40],
['003','Francia','Indicador5',1999,70],
['003','Francia','Indicador6',1998,100],
['004','Portugal','Indicador1',2000,52],
['004','Portugal','Indicador5',1999,52],
['004','Portugal','Indicador6',1998,52],
['004','Portugal','Indicador6',1998,18]

]

df = pd.DataFrame(data = datos ,columns=['CountryCode','CountryName','IndicatorName','Year','Value'])

Ahora donde dices [...]para cada País y para cada año, necesito hacer la suma de la columna "Value" de 3 diferentes indicadores. Esto se puede solucionar haciendo un groupby.

Vamos a decirle que queremos agrupar CountryCode (país), y Year (año) y vamos a pedirle la suma de 'Value'. Fíjate que el código es prácticamente escribir en inglés que haga exactamente eso.

total_value = df.groupby(['CountryCode','Year'])['Value'].sum().reset_index(name ='new_value')

Creamos un DataFrame nuevo, llamado total_value, donde se ve claramente que le pedimos la suma de la columna 'Value' agrupada por las dos columnas CountryCode y Year, y agregamos el resultado en la nueva columna llamada new_value.

Si hacemos un print de new_value

 CountryCode  Year  new_value
0          001  1998         22
1          001  1999        100
2          001  2000        154
3          002  1998         11
4          002  1999        110
5          002  2000         94
6          003  1998        100
7          003  1999         70
8          003  2000        100
9          004  1998         70
10         004  1999         52
11         004  2000         52

Ahora solo falta insertar los datos, en nuestro primer DataFrame. Una opción puede ser usar pd.merge. Si conoces los joins de sql. Esto puede servirte de mucha ayuda, ya que permite fusionar dos tablas mediante uno o mas campos indicando de que forma quieres hacerlo (left,right,outer,inner) conocidos? left join, full outer join, inner join :-D

df_merge = pd.merge(total_value,df,on=['CountryCode',
'Year'],how='outer')

Unimos los dos DataFrame en uno nuevo llamado df_merge. ya falta poco, paciencia.

Finalmente tenemos todo lo que queremos pero nos falta algo.. [...]lo único que cambiaria sería el valor del "Value" dependiendo de la suma que se haga para cada año/país sobre el que se esté iterando.

Para esto se me ocurrió crear una columna nueva, llamada value_modificar.(Podría reemplazar las columnas anteriores, pero la idea de crear una nueva es para que puedas verificar que sean correctos los datos a los que llegamos).

Para la nueva columna utilizo where de numpy. Puede parecer raro, pero es fácil de entender, recibe 3 parámetros, el primero es la condición, el segundo el True y el tercero el False. En tu planteo no explicas cual es tu condición, entonces puse una condición un poco sencilla (new_value >= 50). Si es verdadero, insertará: 'mayor o igual a 50', y si es falso: 'menor a 50'.

df_merge['value_modificar'] = np.where(df_merge['new_value']>=50,
'mayor o igual a 50',
'menor a 50') 

Obteniendo como output final en df_merge:

   CountryCode  Year  ...  Value     value_modificar
0          001  1998  ...     22          menor a 50
1          001  1999  ...     42  mayor o igual a 50
2          001  1999  ...     58  mayor o igual a 50
3          001  2000  ...     52  mayor o igual a 50
4          001  2000  ...    102  mayor o igual a 50
5          002  1998  ...     11          menor a 50
6          002  1999  ...    100  mayor o igual a 50
7          002  1999  ...     10  mayor o igual a 50
8          002  2000  ...     52  mayor o igual a 50
9          002  2000  ...     42  mayor o igual a 50
10         003  1998  ...    100  mayor o igual a 50
11         003  1999  ...     70  mayor o igual a 50
12         003  2000  ...     60  mayor o igual a 50
13         003  2000  ...     40  mayor o igual a 50
14         004  1998  ...     52  mayor o igual a 50
15         004  1998  ...     18  mayor o igual a 50
16         004  1999  ...     52  mayor o igual a 50
17         004  2000  ...     52  mayor o igual a 50

[18 rows x 7 columns]
0

La solución más eficiente es que tu nuevo indicador sea una columna. También se puede hacer por rows, pero seguramente esto implique loopear la tabla al menos una vez O(n) mientras que hacer una operación intrínseca puede ser O(c)

df_indicador1 = df[df["IndicatorName"] == "Indicador 1"]
df_indicador2 = df[df["IndicatorName"] == "Indicador 2"]
df_indicador3 = df[df["IndicatorName"] == "Indicador 3"]

df_nuevoindicador = pd.merge(pd.merge(df_indicador1,df_indicador2,on=["Year","CountryName","CountryCode"]), df_indicador3, on=["Year", "CountryName", "CountryCode"])

Ahora te saldrán en una sola columna los tres indicadores. Haces lo siguiente:

df_nuevoindicador["NuevoIndicadorValue"] = df_nuevoindicador["Value_x_x"]+df_nuevoindicador["Value_x_y"]+df_nuevoindicador["Value_y_x"]

Ahora tienes una nueva columna con el valor. Ya si lo quieres pasar a la tabla original sería cuestión de crear nuevas Rows

new_row = {Country: [], Indicador: [], Value: df_nuevoindicador["NuevoIndicador"]}
nueva_tabla = df.append(new_row, ignore_index=True)

Esto es más ineficiente, añadir filas siempre es más ineficiente que añadir columnas, ya que tendrás que hacer un for loop para añadir todos los años, ciudades, etc... Mientras que de la otra manera ya has juntado ambos.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.