La solución con la que he dado es un mix de las dos que estabas intentando.
Primero, obtener un diccionario que nos dice para cada fila cuál sería el valor final por el que queremos reemplazar NaN. Este diccionario se obtiene como tu habías hecho:
q80_dicc = df.filter(like='20').quantile(.8, axis = 1).to_dict()
Por ejemplo, para las cinco primeras filas este diccionario sería:
{0: 1562.0,
1: 1550.0,
2: 1454.2,
3: 1459.6000000000001,
4: 1460.6
}
Que indica que en la fila 0 y 1 los NaN deben cambiarse por 1562.0, en la fila 2 deben cambiarse por 1454.2, etc.
Segundo aplicar df.fillna()
con ese diccionario. Según la documentación de DataFrame.fillna()
el primer argumento puede ser un diccionario como el que tenemos. Pero el problema es que cuando se usa un diccionario como argumento, fillna()
sólo puede operar sobre una Serie (columna) y no sobre un dataframe entero.
Por suerte la solución es simple. Aplicamos ese método a cada columna, con ayuda de DataFrame.apply()
. Es decir:
df.apply(lambda serie: serie.fillna(q80dicc), axis=0)
El resultado es (si no me equivoco) lo que querías, y puedes asignarlo de nuevo a df
. Las diez primeras filas son: