Porque no pruebas esto:

     for (File file : files) {
    
              if(file .getPath().equalsIgnoreCase("ruta de directorio")){
      //codigo restante
    }
         if(file .getPath().equalsIgnoreCase("ruta de archivos")){
      //codigo restante
    }
    }}

Establezco un if dentro del bucle uno para directorios y otro para archivos