Hasta donde puedo entender, leyendo un poco la doc, esta línea:
listen.RecognizeAsync(RecognizeMode.Multiple);
provoca que el reconocimiento se realice de forma contínua y asíncrona (https://msdn.microsoft.com/es-es/library/system.speech.recognition.speechrecognitionengine.recognizeasync(v=vs.110).aspx).
La aplicación no debería cerrarse, sino escuchar contínuamente. Podrías implementar un comando inicial, al estilo "ok google" o "hey siri", a partir del cuál comenzar a hablar a la aplicación.