Tu error es simple. Los valores iniciales no están siendo asignados. De modo que cuando se compara por primera vez if(fondo != texto){...}
debe entrar por false no importando que color asignes porque de momento texto es null.
La solución es asignarlos:
<script>
// Defino variables GLOBALES
var fondo = "#fff";
var texto = "#000";
// sigue el resto del código
</script>
He supuesto que inicialmente el texto es negro y el fondo blanco. Tomando un default usual.
Editado para ilustrar el uso de atributos asignados:
Otra opción es usar directamente los atributos actuales como mecanismo de control:
<script>
// ajuste inicial para fijar el color de fondo de modo que las
// comparaciones funcionen, es equivalente a haberlo asignado a las
// variables globales
document.bgColor = "#fff";
document.fgColor = "#000";
// cambio en asignar color de fondo
function colorFondo(color) {
if (document.fgColor != color){
document.bgColor = color;
}else{
alert('no es posible seleccionar este color');
}
}
// cambio en asignar color de texto
function colorTexto(color) {
if (document.bgColor != color){
document.fgColor = color;
}else{
alert('no es posible seleccionar este color');
}
}
// sigue el código
</script>
Con este cambio no se necesitan las variables globales.