Puedes hacerlo con la codificación de los caracteres que recorra el abecedario según su código de caracteres. 

ejemplo.

    for($i=65; $i<=90; $i++) {  
    $letra = chr($i);  
    echo '<a href="index.php?letra='.$letra.'">'.$letra.'</a> | ';  }