Si entendí correctamente, lo que pretendes sería el resultado de:
- Determinar qué valores distintos de
NaN
aparecen en la columna y
. Llamemos validos
al conjunto con esos valores. En tu ejemplo, el conjunto validos
contendría los elementos "a" y "d"
- Para todas las filas para las cuales el valor que hay en la columna x esté en el conjunto
validos
, copiar el valor de la columna x a la columna y.
Esto puede implementarse bastante literalmente en la forma siguiente:
# Determinar el conjunto de "validos"
validos = set(df.y.dropna().unique())
# Asignar a la columna y el valor de la columna x, pero solo para
# las filas en las que x está en "validos"
df.loc[df.x.isin(validos), "y"] = df.x
Demo
Si el dataframe de entrada es este:
x y
0 a a
1 a NaN
2 b NaN
3 c NaN
4 d d
el dataframe resultante será este:
x y
0 a a
1 a a
2 b NaN
3 c NaN
4 d d
Alguna explicación adicional
df.y.dropna()
se queda solo con los elementos no-NaN de la columna y
, y aplicando después .unique()
al resultado se eliminan duplicados. El resultado de eso es una lista, pero mediante set()
lo convierto a un conjunto porque las búsquedas en conjuntos son más eficientes.
df.x.isin(validos)
es una función que retorna una columna de booleanos, con el valor True
únicamente en las filas en las que el valor de x
esté en el conjunto validos
. Al usarlo dentro de .loc[]
nos seleccionará sólamente las filas que queremos cambiar. El segundo parámetro de .loc[]
es "y"
, el nombre de la columna en la que queremos escribir.
En el otro lado de la asignación podemos poner directamente df.x
, y sólo se asignarán las filas seleccionadas en el lado izquierdo, no es necesario volver a aplicar filtros en el lado derecho.