Tu error es simple. Los valores iniciales no están siendo asignados. De modo que cuando se compara por primera vez `if(fondo != texto){...}` debe entrar por false no importando que color asignes porque de momento texto es null. 

La solución es asignarlos:

    <script>
    // Defino variables GLOBALES
    var fondo = "#fff";
    var texto = "#000";
    // sigue el resto del código
    </script>

He supuesto que inicialmente el texto es negro y el fondo blanco. Tomando un default usual.

**Editado para ilustrar el uso de atributos asignados:**

Otra opción es usar directamente los atributos actuales como mecanismo de control:

    <script>
    // ajuste inicial para fijar el color de fondo de modo que las 
    // comparaciones funcionen
    document.bgColor = "#fff";
    // cambio en asignar color de fondo
    function colorFondo(color) {
        if (document.fgColor != color){
            document.bgColor = color;
        }else{
             alert('no es posible seleccionar este color');
        }
    }
    // cambio en asignar color de texto
    function colorTexto(color) {
        if (document.bgColor != color){
            document.fgColor = color;
        }else{
             alert('no es posible seleccionar este color');
        }
    }
    // sigue el código
    </script>

Con este cambio no se necesitan las variables globales.