A diferencia de Javascript, en Java no puedes acceder a un caracter que forma parte de un String usando la misma notación que se usaría con un array.
Tienes dos formas de acceder:
String s= "abc";
char c = s.charAt(0) //devuelve un char, no un String
o
char[] charArray = s.toCharArray();
char sc = charArray[0];
Pero si necesitas Strings para poder pasar cada caractercarácter a tu Dialog, puedes generar un array de Strings de un único caracter:
String[] caracteres= frase.split("");
for(int i=0; i < caracteres.length ; i++){
JOptionPane.showMessageDialog(null,caracteres[i]);
}