Una opción es el uso de expresiones regulares:
var str = "MLYXAYMZAXmCYmGXmZY";
function checkDuplicate(str){
for(var i = 0; i < str.length; i++){
var re = new RegExp("[^"+ str[i] +"]","g");
var repetido=str.replace(re, "");
if(repetido.length >= 2){
return repetido;
}
}
return false;
}
alert(checkDuplicate(str));
Este fragmento te devolverá el caracter repetido, todas las veces que esté repetido, si solo quieres que se muestre una vez, basta con cambiar
return repetido;
por
return repetido[0];
EDIT: Para adaptarlo a lo que me preguntas en comentariosse devuelva el carácter que se repite más veces
var str = "MLYXAYMZAXmCYmGXmZYxxx";
var str = str.toUpperCase() ;
var vecesRepetido=0;
var letraRepetida='';
function checkDuplicate(str){
for(var i = 0; i < str.length; i++){
var re = new RegExp("[^"+ str[i] +"]","g");
var repetido=str.replace(re, "");
if(repetido.length >= vecesRepetido){
vecesRepetido=repetido.length;
letraRepetida=repetido[0];
}
}
return letraRepetida;
}
alert(checkDuplicate(str));
El cambio hace que al encontrarse letras repetidas no se termine la funcion sino que se compare con el que más veces aparecía repetido y si es MAYOR O IGUAL almacene hasta que termine el bucle, finalmente se muestra.