Tal vez puedas intentar haciendo este código:

    const except = [1, 2, 3, 4];
    let random;
    do {
      random = getRandom(1, 11)
    } while (except.includes(random));

    console.log(random);
    
    function getRandom(min, max) {
      return parseInt(Math.random() * (max - min) + min);
    }

Espero te sirva.