En vez de utilizar Parse, deberias usar TryParse que devuelve un bool para saber si es valido o no, lo cual si lo combinas con un ciclo while, te quedaria de la siguiente manera:
using System.Globalization;//libreria a añadir para usar las funcionalidades que mas abajo se menciona.
float a;
float outVariable;
Console.Write("INGRESE PRIMER VALOR: ");
while(!float.TryParse(Console.ReadLine(),
NumberStyles.Float | NumberStyles.AllowThousands,
CultureInfo.InvariantCulture,
out outVariable))
{
Console.Write("INGRESE PRIMER VALOR: ");
}//fin del ciclo while
a = Console.ReadLineReadKey();
Saludos