No se puede modificar los datos de origen ya cargados, lo que podrías realizar es obtener esos datos, agregar el elemento y volver a asignar los elementos al origen del ListBox.
Ejemplo:
//Esta es mi objeto Actividad
public class Actividad
{
public long IdActividad { get; set; }
public string Nombre { get; set; }
}
//Actividad es un tipo Objeto
List<Actividad> listActividadView = lstFavoritos.Items.OfType<Actividad>().ToList();
//Asignas el nuevo elemento a la lista que obtuvimos anteriormente
listActividadView.Add(objActividad);
//Y lo vuelvo a cargar los datos en el listBox
lstFavoritos.DisplayMember = "Nombre";
lstFavoritos.ValueMember = "IdActividad";
lstFavoritos.DataSource = listActividadView;
Espero y esto te de una idea.