Personalmente, me gusta la solución de lois6b (sin necesidad de utilizar JavaScript), pero tiene el problema de que no funciona del todo en Firefox e IE/Edge, y además permite elegir colores no válidos (incluso en Chrome pulsando en el botón de "Otros..."). Así que voy a poner una alternativa con JavaScript, quizás si combinas esta solución con la de lois6b, podrías obtener algo interesante.
La idea sería añadir un controlador para el evento onchange
que, cada vez que el campo cambie de valor, compruebe si el nuevo valor es parte de una lista de colores válidos; y si no lo es, haga que el valor del campo vuelva a ser uno por defecto.
Algo como esto:
// añadir un controlador del evento onChange
document.getElementById("colorElegido").addEventListener("change", function(e) {
// lista de colores válidos
var coloresValidos = ["#ffffff", "#000000"];
// si el nuevo valor no es válido, entonces poner el valor por defecto
if (coloresValidos.indexOf(e.target.value.toLowerCase()) < 0) {
e.target.value = "#000000";
}
}, false);
<div class="col-lg-6">
<div class="form-group">
<label>Elegircolor</label>
<input type="color" id="colorElegido" value="#000000" name="product_color" class="form-control">
</div>
</div>
type='color'
si funciona en Edge.