Hecha un vistazo a la clase, Semaphore de Java para controlar la concurrencia.
Semaphore
Basicamente declaras un semaforo con un numero de pasos que pueden dar los metodos. Cada vez que un Hilo de ejecucion quiera escribir en el fichero debe de comprobar si el semaforo "esta en verde", es decir no hay otro hilo de ejecucion escribiendo. En caso de comenzar a escribir, pone el semaforo "en rojo", es decir impide a los demas hilos de ejecucion acceder al fichero.
La espera del semaforo debes hacerla en un while para que quede a la espera hasta que la clase semaforo returne un true y pueda escribir en el fichero.
Otra opcion es utilizar thread.wait y thread.notify que pondran a la espera a los demas hilos y con notify los despertaras. Recuerda tambien poner los metodos en Synchronized para mejor sincronizacion entre hilos y establecerles prioridades a los hilos para evitar problemas de concurrencia.
Synchronized java doc
Un saludo.