Tal como comenta @JackNavaRow, debes usar el operador [`$set`](https://docs.mongodb.com/manual/reference/operator/update/set/index.html) para indicarle a MongoDB que se va a reemplazar un campo y no todo el documento.

Además, el campo que vas a actualizar, al tratarse de un campo en un documento embebido, debes indicarlo usando la notación de punto.

Por ejemplo:

```js
let update = {
  $set: {
    'autor.nombre': 'Nicolas' // <- notación de punto sobre autor.nombre
  }
}

Libro.findOneAndUpdate({_id: req.params.id}, update, {new: true})
.then( ... )
.catch( ... );
```
Espero que esto te ayude a resolver el problema.