El problema radica en que estás aplicando el css a toda la fila (en este caso formada por <tr>...</tr>
.
Si deseas cerrar el modal antes (el cual está contenido en dicha fila), debes hacerlo por medio de los métodos que este ofrece (teniendo en cuenta que es un modal bootstrap).
Puedes ver más documentación de los métodos que ofrece el modal de bootstrap aquí: http://getbootstrap.com/javascript/#modals-methods
.modal('toggle')
Manually toggles a modal. Returns to the caller before the modal has actually been shown or hidden (i.e. before the shown.bs.modal or hidden.bs.modal event occurs).
.modal('hide')
Manually hides a modal. Returns to the caller before the modal has actually been hidden (i.e. before the hidden.bs.modal event occurs).
Aplicándolo a tu código, debería ser implementado antes de aplicar el css y el fadeOut a la fila:
$(document).ready(function()
{
$('#borrarFormulario').click(function(e)
{
var fila = $(this).parents('tr');
var valor= fila.data("identificador");
var formulario = $('#borrarFormulario');
var url = formulario.attr('action').replace('USUARIOID',valor);
var datos = formulario.serialize();
if ($('submit:checked'))
{
e.preventDefault();
alert('pulsado');
};
$.post(url, datos, function(respuestaAjax)
{
// Agregar la siguiente línea pasando el ID correcto
$('#modal').modal('toggle');
// También se puede usar $('#modal').modal('hide');
fila.css({'background-color':'maroon','color':'white'}).fadeOut(5000);
})
})