Markdown está basado en html, así que puedes usar html directamente así:

    <center> <h1>heading 1</h1> </center>

o puedes usar CSS así:

    h1, h2, h3 { text-align: center; }
En este último caso, para ejecutar el código en CSS creo que bastará así:

    ```{css, echo=FALSE}
       h1, h2, h3 { text-align: center; }
    ```

**Explicación**

Las palabras `h1`, `h2`, etc. corresponden a `#`, `##`, etc. Si lo haces con CSS se aplicará a todo el documento, si lo haces con html directamente sólo afectará al header que estés escribiendo en ese mismo instante.

**Referencias**

https://bookdown.org/yihui/rmarkdown-cookbook/center-heading.html

https://stackoverflow.com/questions/19697402/how-to-center-the-title-in-r-markdown/19698219