Revisa la propiedad `FlatAppearance.BorderSize` uno de los 2 botones debe tener un BorderSize diferente.

[![introducir la descripción de la imagen aquí][1]][1]

Programaticamente puedes definir el `BorderSize` de esta forma:

    button.FlatAppearance.BorderSize = 1;

  [1]: https://i.sstatic.net/qrloA.png