Una opción es el uso de expresiones regulares:

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    var str = "MLYXAYMZAXmCYmGXmZY";
    function checkDuplicate(str){
        for(var i = 0; i < str.length; i++){
            var re = new RegExp("[^"+ str[i] +"]","g");
            var repetido=str.replace(re, "");
            if(repetido.length >= 2){
                return repetido;
            }
        }
        return false;
    }
    alert(checkDuplicate(str));

<!-- end snippet -->

Este fragmento te devolverá el caracter repetido, todas las veces que esté repetido, si solo quieres que se muestre una vez, basta con cambiar 
            

     return repetido;

por
           

     return repetido[0];


EDIT:
Para adaptarlo a que se devuelva el carácter que se repite más veces

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    var str = "MLYXAYMZAXmCYmGXmZYxxx";
    var str = str.toUpperCase() ;
    var vecesRepetido=0;
    var letraRepetida='';
    function checkDuplicate(str){
        for(var i = 0; i < str.length; i++){
            var re = new RegExp("[^"+ str[i] +"]","g");
            var repetido=str.replace(re, "");
            
            if(repetido.length >= vecesRepetido){
                vecesRepetido=repetido.length;
                letraRepetida=repetido[0];
            }
        }
        return letraRepetida;
    }
    alert(checkDuplicate(str));

<!-- end snippet -->

El cambio hace que al encontrarse letras repetidas no se termine la funcion sino que se compare con el que más veces aparecía repetido y si es **MAYOR O IGUAL** almacene hasta que termine el bucle, finalmente se muestra.