Puedes hacerlo con la codificación de los caracteres que recorra el abecedario según su código de caracteres.
ejemplo.
for($i=65; $i<=90; $i++) {
$letra = chr($i);
echo '<a href="index.php?letra='.$letra.'">'.$letra.'</a> | '; }
Te dejo unas documentaciones, aqui puedes ver los códigos ASCII ( elcodigoascii.com.ar ) y en la documentacion de php menciona que chr — Devuelve un caracter específico por ascii (php.net/manual/es/function.chr.php).
Un saludo.