Puedes marcar el directorio para que sea borrado al salir de tu app usando deleteOnExit().
deleteOnExit() Solicita que el archivo o directorio indicado por
este nombre de ruta abstracto se elimine cuando finalice la máquina
virtual. Los archivos (o directorios) se eliminan en el orden inverso
al que se registraron. Invocar este método para eliminar un archivo o
directorio que ya está registrado para su eliminación no tiene ningún
efecto. La eliminación se intentará solo para la terminación normal de
la máquina virtual, según lo definido por la Especificación del
lenguaje Java.
Path tempDir = Files.createTempDirectory("TmpDir");
...
...
tempDir.toFile().deleteOnExit();
También puedes usar el método delete()
delete() Elimina el archivo o directorio indicado por este
nombre de ruta abstracto. Si este nombre de ruta denota un directorio,
entonces el directorio debe estar vacío para poder eliminarlo. Tenga
en cuenta que la clase Files define el método de eliminación para
generar una IOException cuando no se puede eliminar un archivo. Esto
es útil para informar errores y diagnosticar por qué no se puede
eliminar un archivo.
En el caso de un directorio es superimportante que previamente te asegures que el directorio no contenga archivos para que se pueda eliminar con exito.
Path tempDir = Files.createTempDirectory("TmpDir");
...
...
Files.delete(tempDir);
Puedes usar un método recursivo para eliminar el directorio y su contenido, obtiene la lista de archivos y los elimina, así como al mismo directorio:
private void eliminaDirectorio(File dir) {
for (File file: dir.listFiles()) { //Itera lista de archivos en directorio
if (file.isDirectory())
eliminaDirectorio(file);//Elimina directorio
file.delete();//Elimina archivo.
}
}