Porque no pruebas esto:
for (File file : files) {
if(file .getPath().equalsIgnoreCase("ruta de directorio")){
//codigo restante
}
if(file .getPath().equalsIgnoreCase("ruta de archivos")){
//codigo restante
}
}}
Establezco un if dentro del bucle uno para directorios y otro para archivos