El siguiente código creo debería funcionar:
void sust_a(void)
{
FILE *arch;
char car;
arch=fopen("D:/Progra1/ejercicio8.txt","r+");
if (!arch){
perror("El archivo no se pudo abrir\n");
return;
}
while (fscanf(arch,"%c",&car)!=EOF)
{
if (car=='a')
{
fseek(arch, -1, SEEK_CUR);
fputc('*', arch);
fflush(arch);
}
}
fclose(arch);
}
Una vez que leíste el caracter que quieres reemplazar, deber regresar para posicionearte sobre ese mismo caracter pero para escribir, entonces escribes el caracter (reemplazando la 'a' por '*'). Debes finalizar con fflush, recuerda que debes limpiar el buffer de lectura (buffer interno de la biblioteca libc) ya que ha ocurrido una modificación en el archivo(con fputc). la llamada a fputc mueve el cursor a la siguiente posición, por lo tanto no es necesario moverlo con fseek. Espero esto resuelva tu problema.