Los paréntesis "ejecutan" la función, en el ejemplo que pones arriba.
//La función "setTimeout" recibe el nombre de la función que se debe ejecutar
//al pasar el tiempo establecido
setTimeout(muestraMensaje, 3000);
//Si tú pones paréntesis, entonces ejecutas la función, y el valor retornado
//por la función es el valor que tomara setTimeout
setTimeout(muestraMensaje(), 3000);
//Por ejemplo, aquí declararé dos funciones
//Esta función no tiene valor de retorno, por lo cual será undefined
var fn1 = function(){
alert("mensaje");
}
var fn2 = function(){
return function(){
alert("Un mensaje");
}
}
//Entonces...
//Este timer esperará tres segundos e intentará ejecutar el valor pasado en el
//primer argumento, lo cual hará correctamente porque
//fn1 es una función definida
setTimeout(fn1, 3000);
//Este timer esperará tres segundos e intentará ejecutar el valor pasado en el
//primer argumento,
//sin embargo, aquí ejecuto fn1 cuando lo paso como argumento, y el valor
//devuelto por fn1 ahora es el valor que recibe setiTimeout, en este caso undefined
setTimeout (fn1(), 3000);
//Pero en el timer siguiente, ejecutare la función fn2 al pasarla como
//argumento, pero está función si tiene un valor de retorno explícito, el cual
//es una función
setTimeout (fn2(), 3000);
//Entonces, la función se ejecuta, y el valor retornado por dicha función es
//ahora el nuevo valor recibido por setTimeout.
En conclusión, con los paréntesis estás ejecutando inmediatamente la función, y sin los paréntesis estás pasando una "referencia" a la función que se ejecutará.