Lo puedes hacer del siguiente modo:

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    var omitir = [1, 2, 3, 4]; //EL o los numeros que deseas omitir.
    var random = Math.random(6);
    while (omitir.includes(random)){random = Math.random(6)}
    console.log(random);


<!-- end snippet -->

Espero que te sirva. Saludos!