yo tuve un problema igual, y encontré en internet la solución.
Mi problema era el siguiente.
tenia dos Form, Form1 y Form2, Al cerrar Form1 todo estaba bien, pero al cerrar el Programa desde Form2, Este seguía en segundo plano.
La solución que encontré es el siguiente, Visual Studio. En explorador de soluciones esta del lado derecho. hay que dar click derecho sobre el nombre del proyecto, luego click en propiedades.
luego seleccionar Aplicaciones, Dentro de aplicaciones seleccionar en modo de apagado la opción "Al Cerrar El Ultimo Formulario"
Luego dentro del form1, al llamar el form2 hay que cerrar el form1
form2.Show()
Me.Close()
Listo a mi me funciono, pude cerrar la aplicación desde otro Form.