El siguiente código creo debería funcionar:
void sust_a(void)
{
FILE *arch;
char car;
arch=fopen("D:/Progra1/ejercicio8.txt","r+");
if (!arch){
perror("El archivo no se pudo abrir\n");
return;
}
while (fscanf(arch,"%c",&car)!=EOF)
{
if (car=='a')
{
fseek(arch, -1, SEEK_CUR);
fputc('*', arch);
fflush(arch);
}
}
fclose(arch);
}
Una vez que leíste el caracter que quieres reemplazar, deber regresar para posicionearte sobre ese mismo caracter pero para escribir, entonces escribes el caracter (reemplazando la 'a' por '*'). Debes finalizar con fflush, recuerda que debes sincronizar el archivo (en disco duro) conlimpiar el buffer de lectura (buffer interno que el sistema operativo internamente mantienede la biblioteca libc) ya que se ha modificado ocurrido una modificación en el archivo(con fputc). la llamada a fputc mueve el cursor a la siguiente posición, por lo tanto no es necesario moverlo con fseek. Espero esto resuelva tu problema.