El siguiente código creo debería funcionar:
void sust_a(void)
{
FILE *arch;
char car;
arch=fopen("D:/Progra1/ejercicio8.txt","r+");
if (!arch){
perror("El archivo no se pudo abrir\n");
return;
}
while (fscanf(arch,"%c",&car)!=EOF)
{
if (car=='a')
{
fseek(arch, -1, SEEK_CUR);
fputc('*', arch);
fflush(arch);
}
}
fclose(arch);
}
Una vez que leíste el caracter que quieres reemplazar, deber regresar para posicionearte sobre ese mismo caracter pero para escribir, entonces escribes el caracter (reemplazando la 'a' por '*'). Debes finalizar con fflush, recuerda que debes sincronizar el archivo (en disco duro) con el buffer (buffer interno que el sistema operativo internamente mantiene) que se ha modificado (con fputc). la llamada a fputc mueve el cursor a la siguiente posición, por lo tanto no es necesario moverlo con fseek. Espero esto resuelva tu problema.