demoré algunos meses pero por fin encontré la respuesta aunque la solución no era lo que quería exactamente aunque tal vez fue mejor, lo que hice fue agregar una cadena a los Empleados de nombre "ID" para identificar de mejor manera al Empleado
public class AlumnoEmpleado
{
public string ID { get; set; }
}
Y ahora para buscar la ID hice lo siguiente
string readed = File.ReadAllText(data);
var jToken = JToken.Parse(readed);
var resultado = jToken["Empresas"].SelectMany(x => x["Empleados"]).ToList(); // Busca a TODOS los Empleados
foreach (var item in resultado)
{
var times = item.SelectTokens("ID").Values(); // Busca el ID en TODOS los empleados
if (times.Where(x => x.ToString().Trim() == text).Any()) // Si la ID es igual a text, entonces seleccionará solo al Empleado con esa ID y descartará a los demás
{
item.Remove(); // Remueve al Empleado seleccionado
}
}