Tienes bastantes problemas con las comillas. Además, no les has indicado los ID's a ninguno de tus `inputs`. 

Por otro lado, tendrías que comparar con respecto a `inicio` y no a la variable `inicial`, la cual no está definida:



<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    function validate() {
    inicio=document.getElementById('fechaInicial').value;
    fin=document.getElementById('fechaFinal').value;
    if(fin<inicio) 
    document.getElementById('fechaFinal').setCustomValidity('Esta fecha ser mayor a fecha incial.');
    alert("La fecha final es menor que la inicial.");
    }

<!-- language: lang-html -->

    <form class="form-horizontal"  method="post" action="" name="form">
    Desde:<input id="fechaInicial" name="fechaInicial" type="date" placeholder="" required="" max="<?php echo date('Y-m-d');?>">
    Hasta:<input id="fechaFinal" name="fechaFinal" type="date" title="La fecha inicial debe ser menor que la fecha final" required="" max="<?php echo date('Y-m-d');?>" oninput="validate()">
    </form>

<!-- end snippet -->