En realidad es un borde que aparece cuando el botón se enfoca, tienes que deshabilitar el enfoque mediante setFocusable() :
button.setFocusable(false)
o mediante setFocusPainted() :
button.setFocusPainted(false)
Me hizo recordar esta pregunta (en C#) donde el usuario deseaba eliminar el borde, en realidad se generaba cuando el botón obtenia el enfoque: