En vez de utilizar Parse, deberias usar TryParse que devuelve un bool para saber si es valido o no, lo cual si lo combinas con un ciclo while, te quedaria de la siguiente manera:

    using System.Globalization;//libreria a añadir para usar las funcionalidades que mas abajo se menciona.

    float a;
    float outVariable;
    Console.Write("INGRESE PRIMER VALOR: ");
    while(!float.TryParse(Console.ReadLine(),
                          NumberStyles.Float | NumberStyles.AllowThousands,
                          CultureInfo.InvariantCulture,
                          out outVariable))
    {
       Console.Write("INGRESE PRIMER VALOR: ");
    }//fin del ciclo while

       Console.ReadKey();

Saludos