Tu fallo no tiene nada que ver con que sean números grandes o pequeños, sino con el orden en que se introducen los números.

Puedes simplificar mucho la lógica, en realidad necesitas un `if/else/if`. Me explico:

Si lo reflexionas bien, debes identificar cuando el número ingresado sea mayor que el que está almacenado en la variable `mayorNumero`. En ese caso, el que está en `mayorNumero` se convierte automáticamente en el `segundoMayor`. Si no lo es, cabe la posibilidad que el ingresado aún sea mayor que el `segundoMayor`, lo que evaluamos en el `else if`, y en ese caso asignamos ese valor a la variable.

Este programa produce la salida correcta con la secuencia que propones:

    public class DosNumerosMasGrandes {
    
        public static void main(String[] args) {
            int contadorNumerosGrandes = 1;
            int ingresadoNumero = 0;
            int mayorNumero = 0;
            int segundoMayor = 0;
    
            while(contadorNumerosGrandes<=10) {
                Scanner entradaNumero=new Scanner(System.in);
                System.out.println("Ingrese la entrada numero: " + contadorNumerosGrandes);         
                ingresadoNumero = entradaNumero.nextInt();
                if (ingresadoNumero > mayorNumero) {
                  segundoMayor = mayorNumero;
                  mayorNumero = ingresadoNumero;
                } else if (ingresadoNumero > segundoMayor) {
                  segundoMayor = ingresadoNumero;
                }
                contadorNumerosGrandes++;
            }
            System.out.println("Resultado");
            System.out.println("Mayor: " + mayorNumero);
            System.out.println("Segundo: " + segundoMayor);
        }
    }