Ese es un error causado por las validaciones de EF.
Para solucionarlo puedes hacer algo como:
try
{
context.Configuration.ValidateOnSaveEnabled = false;
context.CONCEPTO.Attach(objConceptoBasico);
context.Entry(objConceptoBasico).State = EntityState.Deleted;
context.SaveChanges();
}
finally
{
context.Configuration.ValidateOnSaveEnabled = true;
}