Los paréntesis "ejecutan" la función, en el ejemplo que pones arriba.
//La función "setTimeout" recibe el nombre de la función que se debe ejecutar al pasar el tiempo establecido
setTimeout(muestraMensaje, 3000);
//Si tú pones paréntesis, entonces ejecutas la función, y el valor retornado por la función es el valor que tomara setTimeout
setTimeout(muestraMensaje(), 3000);
//Por ejemplo, aquí declararé dos funciones
//Esta función no tiene valor de retorno, por lo cual será undefined
var fn1 = function(){
alert("mensaje");
}
var fn2 = function(){
return function(){
alert("Un mensaje");
}
}
//Entonces...
//Este timer esperará tres segundos e intentará ejecutar el valor pasado en el primer argumento, lo cual hará correctamente porque
//fn1 es una función definida
setTimeout(fn1, 3000);
//Este timer esperará tres segundos e intentará ejecutar el valor pasado en el primer argumento,
//sin embargo, aquí ejecuto fn1 cuando lo paso como argumento, y el valor devuelto por fn1 ahora es el valor que recibe setiTimeout, en este caso undefined
setTimeout (fn1(), 3000);
//Pero en el timer siguiente, ejecutare la función fn2 al pasarla como argumento, pero está función si tiene un valor de retorno explícito, el cual es una función
setTimeout (fn2(), 3000);
//Entonces, la función se ejecuta, y el valor retornado por dicha función es ahora el nuevo valor recibido por setTimeout.
En conclusión, con los paréntesis estás ejecutando inmediatamente la función, y sin los paréntesis estás pasando una "referencia" a la función que se ejecutará.