Lo puedes hacer del siguiente modo:



<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

     var omitir = [1, 2, 3, 4]; //EL o los numeros que deseas omitir.
        var random = parseInt(getRandomArbitrary(1, 11));
        while (omitir.includes(random)){random = getRandomArbitrary(1, 11)}
        console.log(random);
        
    // Retorna un número aleatorio entre min (incluido) y max (excluido)
    function getRandomArbitrary(min, max) {
      return parseInt(Math.random() * (max - min) + min);
    }

<!-- end snippet -->


**Edición:** En el apuro no me di cuenta que random retorna un número pseudo-aleatorio dentro del rango [0, 1). Por lo que agregue una función para agregarle un valor mínimo, máximo y de paso convertirlo a entero.

Espero que te sirva. Saludos!