se me ocurre que no lo estas activando, es decir nunca entra a esa seccion de declaraciones, prueba asi:
system.out.println("entra1");
table.setRowSelectionAllowed(false);
table.setColumnSelectionAllowed(false);
table.setCellSelectionEnabled(false);
system.out.println("entra2");