Hasta donde puedo entender, leyendo un poco la doc, esta línea:
listen.RecognizeAsync(RecognizeMode.Multiple);
provoca que el reconocimiento se realice de forma contínua y asíncrona (https://msdn.microsoft.com/es-es/library/system.speech.recognition.speechrecognitionengine.recognizeasync(v=vs.110).aspx).
La aplicación no debería cerrarse, sino escuchar contínuamente. Podrías implementar un comando inicial, al estilo "ok google" o "hey siri", a partir del cuál comenzar a hablar a la aplicación.
El problema es que (según leo en la doc) una sesión de dictado continuo se cierra cuando el usuario deja de hablar. Deberías implementar un grammar para el hands off ("hey siri"), que se quedaría escuchando de forma permanente hasta hacer match con el texto configurado, y entonces iniciar el DictationGrammar(). Cuando el dictationGramar termine, volver a hacer switch al grammar de hands off.
La aplicación se cierra porque siendo asíncrona se separa de Main. Podrías implementar un while (true){Console.ReadLine();}
al final de Main, lo que haría que escuchase contínuamente sin cerrarse la aplicación. Para cerrarla puedes utilizar algún evento tipo SpeechContinuousRecognitionSession, que te indicará si la sesión se ha cerrado.