El siguiente código creo debería funcionar:


    void sust_a(void)
    {
        FILE *arch;
        char car; 
        arch=fopen("D:/Progra1/ejercicio8.txt","r+");
        if (!arch){
    			perror("El archivo no se pudo abrir\n");
    			return;
    	}
	
    	while (fscanf(arch,"%c",&car)!=EOF)
	    {
		    if (car=='a')
    		{
	    		fseek(arch, -1, SEEK_CUR);
		    	fprintf(arch,"*");
			    fseek(arch, 1, SEEK_CUR);
		    }
	    }
	    fclose(arch);
    }