1

Tengo dos dataframe con igual cantidad de filas y de columnas y todos los valores son numéricos. Necesito crear otro dataframe de forma tal que quede con igual cantidad de filas y columnas y que contenga el promedio de los dos anteriores en cada celda.

Por ejemplo:

new_dataframe[i,j] = Premedio(dataframe1[i,j]+dataframe2[i,j])

La solución que se me ocurre es ir iterando por cada celda del dataframe 1 y 2 e ir sumando y dividiendo entre dos para obtener el promedio. Quisiera saber si hay alguna solución en la que no tenga que iterar los dataframe, si Pandas proporciona alguna funcionalidad para eso.

0

3 respuestas 3

4

La sorprendente respuesta es:

promedio = (df1 + df2)/2

Explicación

Regla de oro de pandas: casi nunca hay que iterar.

Pandas ha redefinido todos los operadores de Python para que funcionen vectorialmente, es decir, sobre "todos los elementos a la vez", por así decir.

Así, si df1 es un dataframe y df2 es otro de igual dimensión, puedes escribir df1 + df2 y el resultado será un nuevo dataframe con la suma elemento a elemento de los dataframes originales.

Esta magia se logra porque en python a + b es convertido por el intérprete en a.__add__(b). Es decir, se está invocando un método llamado __add__() del objeto a y se le está pasando como parámetro el objeto b.

Pandas ha implementado en su clase DataFrame un método .__add__() que detecta si el parámetro que se le pasa es de la misma dimensión que el dataframe en cuestión, y que itera uno a uno por sus elementos para realizar la suma, generar un nuevo dataframe con el resultado, y devolver ese resultado.

De forma análoga define el método .__truediv__() que es el que el intérprete invoca ante el operador /. Ese método está definido de forma que permita realizar la división de un dataframe entre otro (elemento a elemento, no se trata de división matricial), o de un dataframe entre un número, etc.

De este modo, la operación que he dado en la respuesta se convierte en realidad en esta otra:

promedio = df1.__add__(df2).__truediv__(2)

y gracias a esa magia, en una sola línea has escrito la operación que buscabas, usando la misma sintaxis que usarías para operar con dos números reales, pero de forma que actuará ahora en todos los elementos de los dataframes.

Quizás pienses: "Bueno, es un detalle de sintaxis, en el fondo Pandas estará iterando por todas las filas y columnas para poder realizar la operación". Y estarás en lo cierto, pero dos detalles:

  1. La legibilidad cuenta. La sintaxis (df1+df2)/2 es mucho más legible que un bucle o una invocación de métodos (como la que realmente está usando python "por debajo")
  2. Los bucles internos que hace pandas no están implementados en Python, sino en C, y compilados a código máquina. Hacer una operación vectorial pandas como la que propongo es cientos de veces más rápido que hacer tú los bucles en python. Esto se nota si los dataframes son grandes.

De modo que repito la regla de oro: evita iterar por filas y columnas. Busca una solución vectorizada nativa de pandas.

Un problema potencial

Para que la sintaxis df1+df2 funcione es necesario no solo que ambos dataframes tengan la misma "forma" (número de filas y columnas) sino que además tengan el mismo índice y los mismos nombres de columna.

Si este no fuera el caso, puedes usar un truco. df.values te devuelve lo que es la pura matriz de números que almacena el dataframe, sin índices y sin nombres de columnas. Estas matrices son en realidad arrays numpy, los cuales también implementan los métodos adecuados para soportar los operadores + y /, de modo que puedes hacer:

(df1.values + df2.values)/2

para realizar el promedio elemento a elemento. El resultado será otra matriz numpy, la cual puedes convertir en dataframe pandas si lo necesitas.

Demo

>>> print(df1)
    A   B
0  12  15
1   0   3
2   3   7

>>> print(df2)
    C   D
0   9  19
1  18   4
2   6  12

>>> promedio_np = (df1.values + df2.values)/2
>>> print(promedio_np)
[[10.5 17. ]
 [ 9.   3.5]
 [ 4.5  9.5]]

>>> pd.DataFrame(promedio_np)
      0     1
0  10.5  17.0
1   9.0   3.5
2   4.5   9.5
1
  • Muchas gracias. Su respuesta es muy completa. Siempre sospeché que iterar no era la mejor solución. Incluso pensé que la respues podría ser simplemente usando el operdor "+", pero cuando se me ocurrió ya había cerrado la pc y hoy antes de probar me encontré con su maravillosa respuesta. el 6 jul. 2022 a las 10:13
3

Buen día,

Veo un escenario que no está siendo considerado en las respuestas anteriores que es obtener la media cuando los dataframes son de diferentes dimenciones.

Supongamos que tenemos 2 dataframes con las mismas columnas "A" y "B" pero con diferente número de filas

#df1
    A   B
0   12  11
1   10  19
2   1   16

#df2
    A   B
0   13  2
1   15  1
2   7   9
3   11  0
4   11  7

Y deseamos obtener el promedio (O podría ser cualquier otra operación) de cada una de las "celdas" considerando que si un dataframe tiene filas con un índice N que no existan en el otro dataframe, entonces al promediar solo habrá un valor de dicho índice y por lo tanto su valor se "copiará" al dataframe resultante ya que el promedio de un único valor es su mismo valor.

Lo único que debemos hacer es concatenar los dos dataframes

df3 = pd.concat([df1,df2])

Esto generaría el siguiente dataframe:

    A   B
0   12  11
1   10  19
2   1   16
0   13  2
1   15  1
2   7   9
3   11  0
4   11  7

Luego agrupamos utilizando el índice y obtenemos el promedio

df3.groupby(df3.index).mean()

Esto devuelve el siguiente dataframe:

    A       B
0   12.5    6.5
1   12.5    10.0
2   4.0     12.5
3   11.0    0.0
4   11.0    7.0

Ahora, supongamos que por alguna razón desearas que todos los valores se dividan entre el número de dataframes, es decir, que df1 agregara tantos elementos como sea necesario y rellenarlos con cero para que al momento de obtener el promedio los valores de las filas del df2 que no estén presentes en df1 también se dividan entre 2

Para eso puedes utilizar pandas.DataFrame.reindex_like

df4 = df1.reindex_like(df2).fillna(0)

Esto hace que se rellene con 0 cada celda de cada fila nueva

    A       B
0   12.0    11.0
1   10.0    19.0
2   1.0     16.0
3   0.0     0.0
4   0.0     0.0

Y al concatenar y obtener el promedio utilizamos exactamente el mismo método mencionado anteriormente:

df5 = pd.concat([df4,df2])
df5.groupby(df5.index).mean()

Esto devuelve:

    A       B
0   12.5    6.5
1   12.5    10.0
2   4.0     12.5
3   5.5     0.0
4   5.5     3.5

Ventajas de utilizar este método (concat + alguna función)

  1. Puedes utilizarlo con cualquier número de dataframes tengan o no la misma forma.
  2. Puedes aplicar cualquier otra función de pandas, no solo promedio, por ejemplo si quisieras obtener la suma sum(), si quisieras obtener la media pandas.DataFrame.median, suma acumulada, percentil, etc...
  3. Puedes aplicar cualquier función customizada utilizando pandas.DataFrame.apply.
4
  • Muchas gracias por su respuesta. Una pregunta. Si tuviera, a parte del index, una primera columna con los IDs de cada fila y que coinciden los de df1 y df2 podría hacer groupby por esa columna y de esa forma no se tiene en cuenta en la función mean el 6 jul. 2022 a las 10:50
  • Claro, otra cosa que podrías hacer es convertir esa columna en los índices de los dataframes el 6 jul. 2022 a las 10:53
  • ¿Y cómo sería ? el 6 jul. 2022 a las 11:26
  • Lo puedes hacer con set_index el 6 jul. 2022 a las 12:48
3

Si su DataFrame es de tipo numérico podría hacer lo siguiente:

df['mean'] = df.mean(axis=1)

La anterior línea de código creará una nueva columna con los promedio por cada fila independiente de cuantas columnas tenga. Para este caso se hará el promedio en base a dos columnas de un DataFrame

Ejemplo

Crearé un DataFrame con tres filas y dos columnas así:

import pandas as pd
import numpy as np
np.random.seed(0)
df = pd.DataFrame(np.random.randint(0, 20, (3, 2)), columns= ["A","B"])
print(df)

    A   B
0  12  15
1   0   3
2   3   7

Ahora podemos anexar una nueva columna llamada "mean" con el promedio de la columna "A" y "B" con la siguiente linea:

df['mean'] = df.mean(axis=1)
print(df)

    A   B   mean
0   12  15  13.5
1   0   3   1.5
2   3   7   5.0

Lo dicho anteriormente seria en el caso que se tenga un solo DataFrame pero si el promedio desea hacerlo entre dos DataFrame que a juzgar por su pregunta supongo que a esp es lo que se refiere se haría de la manera que propone el Sr @abulafia


Nota:

Anteriormente tenia una respuesta poco optima por lo que para mayor comprensión la he editado he invito a leer y dar crédito a la respuesta del Sr. @abulafia siendo esta muy optima y concisa

5
  • La línea que calcula el promedio es innecesariamente complicada con los .apply() ¿no es lo mismo que poner simplemente promedio = (df[v1] + newdf[v2])/2? Además es más eficiente al evitar la llamada a una lambda por cada fila. Por otro lado sigue habiendo un for para iterar por las columnas, lo que puede evitarse haciendo que la operación sea totalmente vectorizada en ambas dimensiones.
    – abulafia
    el 5 jul. 2022 a las 19:09
  • Tiene toda la razón, aprendi mucho de su respuesta Sr @abulafia
    – Jred0n29
    el 5 jul. 2022 a las 19:11
  • Según su criterio me sugiere eliminar la respuesta? @abulafia
    – Jred0n29
    el 5 jul. 2022 a las 19:14
  • 2
    No suelo invitar a eliminar respuestas, todas aportan algo. Sin embargo la segunda parte de esta respuesta es complicada y sub-óptima. Creo que podrías dejar la primera parte de la respuesta indicando cómo promediar las columnas de un solo dataframe, y quizás referir a "la otra respuesta" (la mía) para el caso en que sean dos dataframes separados.
    – abulafia
    el 5 jul. 2022 a las 19:15
  • Sr @abulafia muchas gracias.
    – Jred0n29
    el 5 jul. 2022 a las 19:24

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.