Para interporlar los valores nulos tienes a tu disposición [`pandas.Series.interpolate`][1], por defecto se lleva a cabo una interpolación lineal:

    
>     >>> df2['exchange_rate'].interpolate(method="linear")
> 
>     0     19.126386
>     1     19.197585
>     2     19.269133
>     3     19.089059
>     4     19.042815
>     5     19.142962
>     6     19.174359
>     7     19.205757
>     8     19.237154
>     9     19.398208
>     10    19.559262
>     11    25.057631
>     12    30.555999

pero tienes múltiples métodos implementados. Por ejemplo usando elvalor previo no nulo (padding):


>     >>> df2['exchange_rate'].interpolate(method="pad")
> 
>     0     19.126386
>     1     19.197585
>     2     19.269133
>     3     19.089059
>     4     19.042815
>     5     19.142962
>     6     19.142962
>     7     19.142962
>     8     19.237154
>     9     19.237154
>     10    19.559262
>     11    19.559262
>     12    30.555999

Los datos son los de tu ejemplo, excepto para la última fila (2020-Jan), para la que he cambiado el valor de 19.559262 a 30.555999 para que se vea la diferencia entre métodos.


En cuanto a trasladar el valor a df1 desde df2, ciertamente hay muchas formas, incluidas usar un `for` como planteas o una función con `pandas.DataFrame.apply`. No obstante creo que la forma más óptima para estos casos es usar [`pandas.Series.map`][2], la cual permite tomar los valores a mapear desde otra serie, usando los índices como clave.

    import io
    import pandas as pd
    
    df1_data = io.StringIO("""\
        date    value
    2019-Jan    35691
    2019-Jan    17076
    2019-Dec    988
    2019-Dec    1996
    """)

    df2_data = io.StringIO("""\
    exchange_rate       date  real_or_forecast
        19.126386   2019-Jan              real
        19.197585   2019-Feb              real
        19.269133   2019-Mar              real
        19.089059   2019-Apr              real
        19.042815   2019-May              real
        19.142962   2019-Jun              real
        NaN         2019-Jul          forecast
        NaN         2019-Aug          forecast
        19.237154   2019-Sep          forecast
        NaN         2019-Oct          forecast
        19.559262   2019-Nov          forecast
        NaN         2019-Dec          forecast
        19.559262   2020-Jan          forecast
    """)
    
    df1 = pd.read_csv(df1_data, sep="\s+")
    df2 = pd.read_csv(df2_data, sep="\s+")
    
    df1["exchange_rate"] = df1["date"].map(df2.set_index('date')['exchange_rate']
                                              .interpolate(method="linear")
                                          )

>     >>> df1
>       
>            date  value  exchange_rate
>     0  2019-Jan  35691      19.126386
>     1  2019-Jan  17076      19.126386
>     2  2019-Dec    988      19.559262
>     3  2019-Dec   1996      19.559262


Si quieres que la interpolación se aplique al propio df2 in-place, aplícala antes:

    df2["exchange_rate"].interpolate(method="linear", inplace=True)
    df1["exchange_rate"] = df1["date"].map(df2.set_index('date')['exchange_rate'])

  [1]: https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.interpolate.html
  [2]: https://pandas.pydata.org/pandas-docs/version/0.19/generated/pandas.Series.map.html