El siguiente código creo debería funcionar:


    void sust_a(void)
    {
        FILE *arch;
        char car; 
        arch=fopen("D:/Progra1/ejercicio8.txt","r+");
        if (!arch){
    			perror("El archivo no se pudo abrir\n");
    			return;
    	}
	
    	while (fscanf(arch,"%c",&car)!=EOF)
	    {
		    if (car=='a')
    		{
	    		fseek(arch, -1, SEEK_CUR);
		    	fputc('*', arch);
			    fflush(arch);
		    }
	    }
	    fclose(arch);
    }

Una vez que leíste el caracter que quieres reemplazar, deber regresar para posicionearte sobre ese mismo caracter pero para escribir, entonces escribes el caracter (reemplazando la 'a' por '*'). Debes finalizar con fflush, recuerda que debes limpiar el buffer de lectura (buffer interno de la biblioteca libc) ya que ha ocurrido una modificación en el archivo(con fputc). la llamada a fputc mueve el cursor a la siguiente posición, por lo tanto no es necesario moverlo con fseek. Espero esto resuelva tu problema.