Puedes navegar el DOM desde el botón hacia el hermano anterior, usando la propiedad [`previousSibling`][1].

De esta manera obtienes el `<div>` anterior en la estructura y expandes unicamente ese. 

Algo así: (fíjate que uso `this.previousSibling` lo cual selecciona únicamente el hermano anterior del botón sobre el que haces click)

    const expandButton = document.querySelector('.expand-button');
    expandButton.addEventListener('click', ()=> {
    
       const more = this.previousSibling; // aqui se usaria
    
       //El contenido pasa de oculto a ser visible.
       more.style.display = 'block';
      //Oculto la imagen al expandir.
       if (more.style.display === 'block') {
           expandButton.style.display = 'none';
       }
    }, false);

Ten en cuenta que esto funciona con la estructura HTML que pones en la pregunta, si cambias la estructura, sera necesario modifacar el codigo para navegar al elemento correcto.

Te recomiendo que leas sobre otras propiedades similares del objeto [Node][2] tales como `nextSibling`, `parentNode`, etc. 


  [1]: https://developer.mozilla.org/en-US/docs/Web/API/Node/previousSibling
  [2]: https://developer.mozilla.org/en-US/docs/Web/API/Node