amigo mira si esto es lo que necesitas en este link

[ventana con bordes sombreados][1]


  [1]: http://acodigo.blogspot.com.co/2015/03/ventana-javafx-con-bordes-sombreados.html

la parte que debe mirar con atención es:

stage.initStyle(StageStyle.TRANSPARENT);
y
// Establecer el color de relleno del Scene a transparente
scene.setFill(Color.TRANSPARENT);