El problema se debe principalmente a que estás concatenando el valor del DNI a tu consulta, debes estructurar tu código, y además revisa el connectionString, asegúrate que no tenga espacios. Revisa ejemplos de uso de la clase SqlCommand
Agregando comillas al valor del DNI, pero te sugiero mejor realizar el siguiente cambio:
private void btnBuscarEliminar_Click(object sender, EventArgs e)
{
string dni = txt.BuscarDNItxtBuscarDNI.Text;
string myQuery = "DELETE FROM Personas WHERE DNI = @DNI";
using (SqlConnection cn = new SqlConnection("Data Source=Losgordos\\SQLEXPRESS;Initial Catalog=OficinaCelest...."))
{
cn.Open();
using (SqlCommand cmd = new SqlCommand(myQuery, cn))
{
cmd.Parameters.AddWithValue("@DNI", dni);
cmd.ExecuteNonQuery();
}
}
}