Para interporlar los valores nulos tienes a tu disposición pandas.Series.interpolate
, por defecto se lleva a cabo una interpolación lineal:
>>> df2['exchange_rate'].interpolate(method="linear")
0 19.126386
1 19.197585
2 19.269133
3 19.089059
4 19.042815
5 19.142962
6 19.174359
7 19.205757
8 19.237154
9 19.398208
10 19.559262
11 25.057631
12 30.555999
pero tienes múltiples métodos implementados. Por ejemplo usando el valor previo no nulo (padding):
>>> df2['exchange_rate'].interpolate(method="pad")
0 19.126386
1 19.197585
2 19.269133
3 19.089059
4 19.042815
5 19.142962
6 19.142962
7 19.142962
8 19.237154
9 19.237154
10 19.559262
11 19.559262
12 30.555999
Los datos son los de tu ejemplo, excepto para la última fila (2020-Jan), para la que he cambiado el valor de 19.559262 a 30.555999 para que se vea la diferencia entre métodos.
En cuanto a trasladar el valor a df1 desde df2, ciertamente hay muchas formas, incluidas usar un for
como planteas o una función con pandas.DataFrame.apply
. No obstante creo que la forma más óptima para estos casos es usar pandas.Series.map
, la cual permite tomar los valores a mapear desde otra serie, usando los índices como clave.
import io
import pandas as pd
df1_data = io.StringIO("""\
date value
2019-Jan 35691
2019-Jan 17076
2019-Dec 988
2019-Dec 1996
""")
df2_data = io.StringIO("""\
exchange_rate date real_or_forecast
19.126386 2019-Jan real
19.197585 2019-Feb real
19.269133 2019-Mar real
19.089059 2019-Apr real
19.042815 2019-May real
19.142962 2019-Jun real
NaN 2019-Jul forecast
NaN 2019-Aug forecast
19.237154 2019-Sep forecast
NaN 2019-Oct forecast
19.559262 2019-Nov forecast
NaN 2019-Dec forecast
19.559262 2020-Jan forecast
""")
df1 = pd.read_csv(df1_data, sep="\s+")
df2 = pd.read_csv(df2_data, sep="\s+")
df1["exchange_rate"] = df1["date"].map(df2.set_index('date')['exchange_rate']
.interpolate(method="linear")
)
>>> df1
date value exchange_rate
0 2019-Jan 35691 19.126386
1 2019-Jan 17076 19.126386
2 2019-Dec 988 19.559262
3 2019-Dec 1996 19.559262
Si quieres que la interpolación se aplique al propio df2 in-place, aplícala antes:
df2["exchange_rate"].interpolate(method="linear", inplace=True)
df1["exchange_rate"] = df1["date"].map(df2.set_index('date')['exchange_rate'])
Edición
Para aplicar pandas.Series.map
es necesario que la serie de la que se toman los datos tenga como índice la columna que se usa para asociar los valores de ambos DataFrames, date
en nuestro ejemplo. Esto es así, porque cada valor de date
de df1
se va a buscar en el índice de la serie pasada a map
y el valor asociado a ese índice (de encontrarse) es el usado para poblar la columna exchange_rate
de df1
.
Si en nuestro caso la columna date
ya fuera el índice de df2
, bastaría con:
df1["exchange_rate"] = df1["date"].map(df2['exchange_rate'].interpolate(method="linear"))
si es índice en ambos DataFrames entonces podemos hacer:
df1["exchange_rate"] = df1.index.map(df2['exchange_rate'].interpolate(method="linear"))
2019-Dec
le corresponderíaNaN
de no ser así...