TL;DR
Vease el apartado "La solución". Pero quieres entender por qué, lee la respuesta completa.
Explicación del problema
Pandas usa una "trampa" para permitirte escribir ese tipo de expresiones "aparentemente booleanas". Todo se basa en la capacidad que tiene python de que la mayoría de sus operadores son redefinibles.
Así, el operador ==
por ejemplo, está redefinido por pandas en la clase DataFrame
para que sea posible comparar un dataframe con una cadena, por ejemplo, tal como ocurre en:
df['A'] == 'F'
Si te fijas, esa comparación a priori no tendría mucho sentido pues estás comparando un dataframe completo (o una columna) con una letra "F"
. Pero pandas ha redefinido el operador (en realidad ha implementado el método DataFrame.__eq__()
) para que admita ese tipo de comparación, y en este caso retorna como resultado una columna de booleanos, cada uno de los cuales será el resultado de haber realizado la comparación elemento a elemento.
Además Pandas ha redefinido el operador []
(en realidad ha implementado el método DataFrame.__getitem__()
) de modo que admita una columna de booleanos en lugar de un simple número como ocurría en las listas (piensa en lista[3]
por ejemplo). Gracias a esto puedes pasar entre corchetes el resultado de la comparación anterior:
df[df['A'] == 'F']
y lo que en realidad recibe __getitem__()
es una columna de booleanos, y retorna solo los elementos del dataframe para los cuales el correspondiente booleano es True
.
Esto está muy bien, pero ahora, si queremos hacer otra comparación como es tu caso, tal que esta:
df["B"]=="G"
y combinar ambas para ponerlas entre corchetes, necesitamos un operador que admita una columna de booleanos, otra columna de booleanos, y realice la operación and
entre cada pareja de ellos, generando como resultado otra columna de booleanos que podamos pasar como parámetro entre los corchetes.
Es decir, necesitaríamos algo como esto:
df[df['A'] == 'F' and df['B']=='G']
Pero esto no funcionará, porque and
es palabra reservada de Python que solo admite a su izquierda un booleano y a su derecha otro, y no columnas de booleanos como estamos pasando en este caso.
Por desgracia and
no es redefinible como otros operadores en python, por lo que a primera vista este problema no tiene solución.
Pero Python tiene otro operador, &
, que no está inicialmente pensado para trabajar con booleanos sino con enteros (realizaría lo que se llama bitwise and, o la operación and entre cada bit de una pareja de enteros). La gracia del operador &
es que sí es redefinible, y Pandas se aprovecha de este hecho.
Pandas define el método DataFrame.__and__()
(que es el método que resulta ejecutado cuando se hace df1 & df2
) para que admita como parámetro una columna de booleanos y así poder implementar la funcionalidad buscada.
Es decir, si df1
y df2
son dos columnas de booleanos, ambas de la misma longitud, y escribimos df1 & df2
entonces lo que realmente se ejecutará será:
df1.__and__(df2)
y en la implementación de pandas eso retornará otra columna de booleanos (que tendrá True
en las filas en las que tanto df1
como df2
tenían True
y False
en el resto).
Ya tenemos todos los ingredientes para entender qué ocurre cuando hacemos algo como:
df[df["A"] == "F" & df["B"] == "G"]
Python ejecutará en realidad unos cuantos métodos especiales que implementan la comparación (__eq__()
) la operación &
(__and__()
) y el acceso a las filas filtradas (__getitem__()
). Pero aún queda un detalle muy importante el orden de precedencia entre todos estos operadores.
Y resulta que el operador &
es el que tiene mayor prioridad de todos ellos (a diferencia de la operación and
booleana que es la que menos precedencia tendría en una expresión similar).
Para verlo más claro, pondré paréntesis que expliciten el orden en que se evalúan las cosas:
df[ (df["A"] == ("F" & df["B"])) == "G"]
¡Esto no se parece en nada a lo que queríamos hacer! La primera operación que se intentará será "F" & df["B"]
, que es una operación &
entre una cadena y un dataframe. Esa operación no está definida (pandas definió la operación entre un dataframe y una cadena, pero no la inversa).
La solución
Por tanto vemos que en realidad todo era un problema de orden de precedencia, que se arregla poniendo paréntesis en la expresión para forzar el orden de evaluación que nos interesa, que sería este:
df[ (df["A"]=="F") & (df["B"]=="G") ]
La receta es: En Pandas, pon siempre paréntesis alrededor de las comparaciones que después vayas a combinar mediante los operadores &
, |
o ~
.
Todo la explicación previa es simplemente para que se comprenda por qué en este caso hacen falta esos paréntesis, mientras que en las operaciones booleanas "normales" (las que usan and
, or
y not
) no.
Bonus
La última expresión que hemos escrito, que funcionará ya correctamente, es evaluada en realidad por Python como esta otra:
df.__getitem__(
df.__getitem__("A").__eq__("F")
.__and__(
df.__getitem__("B").__eq__("G")
)
)
Y es gracias a que pandas ha definido esos métodos especiales que la magia funciona.