La sorprendente respuesta es:
promedio = (df1 + df2)/2
Explicación
Regla de oro de pandas: casi nunca hay que iterar.
Pandas ha redefinido todos los operadores de Python para que funcionen vectorialmente, es decir, sobre "todos los elementos a la vez", por así decir.
Así, si df1
es un dataframe y df2
es otro de igual dimensión, puedes escribir df1 + df2
y el resultado será un nuevo dataframe con la suma elemento a elemento de los dataframes originales.
Esta magia se logra porque en python a + b
es convertido por el intérprete en a.__add__(b)
. Es decir, se está invocando un método llamado __add__()
del objeto a
y se le está pasando como parámetro el objeto b
.
Pandas ha implementado en su clase DataFrame
un método .__add__()
que detecta si el parámetro que se le pasa es de la misma dimensión que el dataframe en cuestión, y que itera uno a uno por sus elementos para realizar la suma, generar un nuevo dataframe con el resultado, y devolver ese resultado.
De forma análoga define el método .__truediv__()
que es el que el intérprete invoca ante el operador /
. Ese método está definido de forma que permita realizar la división de un dataframe entre otro (elemento a elemento, no se trata de división matricial), o de un dataframe entre un número, etc.
De este modo, la operación que he dado en la respuesta se convierte en realidad en esta otra:
promedio = df1.__add__(df2).__truediv__(2)
y gracias a esa magia, en una sola línea has escrito la operación que buscabas, usando la misma sintaxis que usarías para operar con dos números reales, pero de forma que actuará ahora en todos los elementos de los dataframes.
Quizás pienses: "Bueno, es un detalle de sintaxis, en el fondo Pandas estará iterando por todas las filas y columnas para poder realizar la operación". Y estarás en lo cierto, pero dos detalles:
- La legibilidad cuenta. La sintaxis
(df1+df2)/2
es mucho más legible que un bucle o una invocación de métodos (como la que realmente está usando python "por debajo")
- Los bucles internos que hace pandas no están implementados en Python, sino en C, y compilados a código máquina. Hacer una operación vectorial pandas como la que propongo es cientos de veces más rápido que hacer tú los bucles en python. Esto se nota si los dataframes son grandes.
De modo que repito la regla de oro: evita iterar por filas y columnas. Busca una solución vectorizada nativa de pandas.
Un problema potencial
Para que la sintaxis df1+df2
funcione es necesario no solo que ambos dataframes tengan la misma "forma" (número de filas y columnas) sino que además tengan el mismo índice y los mismos nombres de columna.
Si este no fuera el caso, puedes usar un truco. df.values
te devuelve lo que es la pura matriz de números que almacena el dataframe, sin índices y sin nombres de columnas. Estas matrices son en realidad arrays numpy, los cuales también implementan los métodos adecuados para soportar los operadores +
y /
, de modo que puedes hacer:
(df1.values + df2.values)/2
para realizar el promedio elemento a elemento. El resultado será otra matriz numpy, la cual puedes convertir en dataframe pandas si lo necesitas.
Demo
>>> print(df1)
A B
0 12 15
1 0 3
2 3 7
>>> print(df2)
C D
0 9 19
1 18 4
2 6 12
>>> promedio_np = (df1.values + df2.values)/2
>>> print(promedio_np)
[[10.5 17. ]
[ 9. 3.5]
[ 4.5 9.5]]
>>> pd.DataFrame(promedio_np)
0 1
0 10.5 17.0
1 9.0 3.5
2 4.5 9.5