El siguiente código creo debería funcionar:
void sust_a(void)
{
FILE *arch;
char car;
arch=fopen("D:/Progra1/ejercicio8.txt","r+");
if (!arch){
perror("El archivo no se pudo abrir\n");
return;
}
while (fscanf(arch,"%c",&car)!=EOF)
{
if (car=='a')
{
fseek(arch, -1, SEEK_CUR);
fputc('*', arch);
fseek(arch, 1, SEEK_CUR);
}
}
fclose(arch);
}