2

me gustaría saber como sumar dos data frames en Pandas en los cuales no coinciden todas las etiquetas. Es decir, si la etiqueta coincide en los DF se suman, pero si solo existe en una que añada ese valor únicamente al resultado y no "NaN".

El ejemplo es el siguiente:

DF1

DF1

DF2

DF2

si sumo ambos DF el resultado es el siguiente

DF1+DF2

Como se ve solo suma los Time Spent de los Assignee que coinciden en ambos DF, el resto es NaN. Como se puede hacer para que los NaN sea el valor que hay en unos de los DF?

No se si está claro así.

Muchas gracias!!!!

1 respuesta 1

3

Voy a poner otro ejemplo más simple por no copiar los datos que has puesto como imagen.

Supongamos que tenemos un par de dataframes como los siguientes:

df1 = pd.DataFrame([1,1,1,1,1,1], index=list("abcdef"))
df2 = pd.DataFrame([1,1,1,1,1], index=list("bcdeg"))

Que te muestro uno al lado del otro para que se puedan comparar fácilmente:

introducir la descripción de la imagen aquí introducir la descripción de la imagen aquí

Como se ve, comparten algunas entradas del índice (en concreto, b, c, d, e) pero hay entradas que sólo están en df1 (a, f) y otras que sólo están en df2 (g) y además no son de la misma longitud.

Si intentas sumarlos así:

df1 + df2

las entradas que no aparezcan en ambos toman por defecto el valor NaN en el df en que no aparecen. Al sumar NaN el dato del otro dataframe en que sí aparece, el resultado es NaN, ya que NaN sumado a cualquier otra cosa da siempre NaN. Por eso el resultado es:

introducir la descripción de la imagen aquí

Pero si en vez de + usas el método .add() de los dataframes, entonces puedes especificar con qué valor rellenar los datos ausentes. Por defecto sigue siendo NaN, pero puedes especificar otro mediante fill_value. Si decimos que use 0 como valor de relleno, al sumar éste con el dato del otro dataframe saldrá como resultado el dato del otro, que creo que es lo que querías:

df1.add(df2, fill_value=0)

Resultado:

introducir la descripción de la imagen aquí

Bonus. Generalización

La forma más general, para sumar cualquier número de dataframes de este modo, podría consistir en aplicar repetidas veces .add() dentro de un bucle. Por ejemplo:

result = pd.DataFrame()
for df in [df1, df2, df3, df4]:
  result = result.add(df, fill_value=0)

Lo he testeado y funciona!

Bonus 2. Usando +

Podemos hacer uso del modelo de datos Python, que permite que las clases que tú definas decidan cómo implementar la operación +, si implementas en la clase el método especial __add__().

De este modo podría definir una clase DataFrameSumable que implemente __add__() llamando al método .add() de Pandas, con fill_value=O. Para no tener que definir el resto de la funcionalidad, uso herencia y heredo de DataFrame. Debo tener cuidado de que mi método __add__() retorne un DataFrameSumable (y no un DataFrame normal), para poder aplicar de nuevo + al resultado.

Esta sería la definición:

class DataFrameSumable(pd.DataFrame):
  def __add__(self, other):
    return DataFrameSumable(self.add(other, fill_value=0))

Ahora crearía mis dataframes usando esta clase, en vez de pd.DataFrame(), por ejemplo así:

df1 = DataFrameSumable([1,1,1,1,1,1], index=list("abcdef"))
df2 = DataFrameSumable([1,1,1,1,1], index=list("bcdeg"))
df3 = DataFrameSumable([1,1,1,1,1], index=list("abcde"))

Y resulta que ¡puedo usar + para sumar estos objetos y todo sale bien!

>>> print(df1 + df2 + df3)
     0
a  2.0
b  3.0
c  3.0
d  3.0
e  3.0
f  1.0
g  1.0

¡Magia!

7
  • Muchas gracias.. ahora si
    – Gonzalo
    Commented el 10 dic. 2020 a las 11:03
  • Te había respondido esto mismo a tu anterior pregunta, antes de que la borraras. Probablemente no llegaste a ver mi respuesta
    – abulafia
    Commented el 10 dic. 2020 a las 11:04
  • te lo aradezco igualmente.. la he borrado porque no parecía que estuviera clara la duda. Muchas gracias de todas formas
    – Gonzalo
    Commented el 10 dic. 2020 a las 11:25
  • ya que estoy, y perdona el atraco... como harías con tres DFs?
    – Gonzalo
    Commented el 10 dic. 2020 a las 11:26
  • 1
    Supongo que puedes "encadenar" los add: df1.add(df2, fill_value=0).add(df3, fill_value=0)
    – abulafia
    Commented el 10 dic. 2020 a las 11:35

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.