Observa este pequeño programa, tratando además los **posibles** casos de **archivos sin extensión** o **sin nombre**... como es el caso de .htaccess:

**[DEMO][1]**


    class FilesByExtension
    {
    	public static void main (String[] args) throws java.lang.Exception
    	{
    		String [] arrFiles = {"a.txt", "b.txt", "a.doc", "b.doc", "z.aaa", ".htaccess", "a.zzz", "noextension", ".nonombre"};
    		String [] arrFilesOk = dirListByExtension(arrFiles);
    		System.out.println(Arrays.toString(arrFilesOk));
    	}
    
		public static String [] dirListByExtension(String [] arrFiles)  
		{
      	
      		Arrays.sort(arrFiles, new Comparator<String>() 
	  		{
    
	  			@Override
	  			public int compare(String s1, String s2) 
	  			{
	  				final int s1Dot = s1.lastIndexOf('.');
	  				final int s2Dot = s2.lastIndexOf('.');
	  				if ((s1Dot == -1) == (s2Dot == -1)) { 
	  					s1 = s1.substring(s1Dot + 1);
	  					s2 = s2.substring(s2Dot + 1);
	  					return s1.compareTo(s2);
	  				} else if (s1Dot == -1) { 
	  					return -1;
	  				} else { 
	  					return 1;
	  				}
	  			}
	  		});
	  		return arrFiles;
	  	}  
    }

**Resultado:**

    

> [noextension, z.aaa, a.doc, b.doc, .htaccess, .nonombre, a.txt, b.txt,
> a.zzz]


  [1]: http://ideone.com/s0qQgI