Tal como comenta @JackNavaRow, debes usar el operador [`$set`](https://docs.mongodb.com/manual/reference/operator/update/set/index.html) para indicarle a MongoDB que se va a reemplazar un campo y no todo el documento.

Además, el campo que vas a actualizar, al tratarse de un campo en un documento embebido, debes indicarlo usando la notación de punto.

Por ejemplo:

```js
let update = {
  $set: {
    'autor.nombre': 'Nicolas' // <- notación de punto sobre autor.nombre
  }
}

Libro.findOneAndUpdate({_id: req.params.id}, update, {new: true})
.then( ... )
.catch( ... );
```
Espero que esto te ayude a resolver el problema.

**EDICIÓN**

En tu [comentario](https://es.stackoverflow.com/questions/389220/acutalizar-subdocumento-en-mongodb/389231#comment697250_389231) haces una pregunta bastante interesante.

Si alguno de los campos del `json` recibido es `undefined`, entonces no deberíamos hacer la actualización, ya que la misma establece el campo a `null` en el documento.

La solución es construir el objeto de actualización basados en la información recibida.

Por ejemplo:

```js
let update = {};
let $set = {};
Object.keys(json_recibido).forEach(key => {
  if(json_recibido[key]) { // si el valor es distinto de undefined o null
    $set[key] = json_recibido[key];
  }
});

if(Object.keys($set).length) {
  update.$set = $set;
}
// ahora update sólo contiene los campos que no sean undefined o null
```

Veamos un ejemplo del código anterior funcionando:

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    const jsons = [
      {nombre: 'Mauricio', apellido: 'Contreras'},
      {nombre: 'Gonzalo JSBianchi', apellido: undefined},
      {nombre: 'Nicolas', apellido: undefined},
      {nombre: null, apellido: 'Cavilla'},
      {nombre: null, apellido: undefined}
      
    ];

    jsons.forEach(json_recibido => {
      let update = {};
      let $set = {};
      Object.keys(json_recibido).forEach(key => {
        if(json_recibido[key]) { // si el valor es distinto de undefined o null
          $set[key] = json_recibido[key];
        }
      });

      if(Object.keys($set).length) {
        update.$set = $set;
      }
      console.log(update);
    });

<!-- language: lang-css -->

    .as-console-wrapper {
      min-height: 100%;
      top: 0;
    }

<!-- end snippet -->