Para hacer esto te propongo usar el patrón Singleton. En pocas palabras el patrón Singleton garantiza que el objeto(en este caso tu formulario) sea creado una sola vez.
Para utilizar este patrón debes hacer algunas modificaciones en tu Form2:
Declarar una variable de tipo Form2.
Cambiar el modificador de acceso del constructor de la clase Form2 de public a private.
Crear un método estático que va a ser el encargado de instanciar la
clase Form2 ya que al ser el constructor privado no vas a poder invocarlo directamente sino a través de este método.
Este sería tu código:
private static Form2 frm2 = null;
private Form2()
{
InitializeComponent();
}
public static Form2 GetForm2()
{
frm2 = frm2 ?? new Form2();
return frm2;
}
Ahora bien, el método GetForm2() va a preguntar si la variable frm2 es nula(no se ha creado), de ser nula pues se construye el Form2, de no ser nula quiere decir que ya fue creado, por lo que no hay que volverlo a crear. En ambos casos se retorna a frm2. Para lograr esto se usa al operador ??, el cual hace más compacto al código.
Un código alternativo al uso del operador ?? podría ser:
if(frm2 == null)
{
frm2 = new Frm2();
}
return frm2;
Pues bien, ahora vamos a mostrar y cerrar a Form2 desde el Form1. Imagino que tengas quizás dos botones en el Form1, uno para mostrar al Form2 y otro para cerrarlo. El botón cerrar estaría inhabilitado ya que si no has mandado a mostrar el formulario no tendría sentido cerrarlo. Para inhabilitar este botón lo seleccionas y vas al cuadro de herramientas buscas la propiedad Enabled y la pones en false, o puedes poner este codigo en evento Load del Form1:
btnCerrar.Enabled = false;
Ambas formas son equivalentes.
En Form1 creo una variable global de tipo Form2:
Form2 frm = null;
Para mostrar el Form2 desde el Form1 sería poner este código en tu hipotético botón Mostrar:
frm2 = Form2.GetForm2();
btnCerrar.Enabled = true; //Una vez creado el Form2, activo al botón de Cerrar
frm2.Show();
Fíjate como no se usa new Form2(), ya que el constructor es privado y no se puede usar directamente.
Para cerrar el Form2 tendrías que poner este código en tu botón Cerrar:
frm2 = Form2.GetForm2();
btnCerrar.Enabled = false; //Desactivo el botón ya que cerré el formulario y se activaría nuevamente al mostrarlo
frm2.Close();
Para que entiendas mejor te dejo una imagen del código con un antes y un después de las modificaciones al Form2.

Te recomiendo que busques más información sobre el patrón Singleton, puede serte muy útil en futuros desarrollos.