Me creerias si te digo, que en vesvez de utilizar el
<button type="submit" id="cambiar_color">Cambiar color</button>
<button type="submit" id="cambiar_color">Cambiar color</button> utiliza el <button type="button" id="cambiar_color">Cambiar color</button> veras el submit hace el posteo del formulario, por eso es el refresh del navegador
<button type="button" id="cambiar_color">Cambiar color</button>
Verás, el submit hace el posteo del formulario, por eso es el refresh del navegador