Estás planteando mal tu solución. Cuando creas un bucle do-while, lo que va dentro del bucle se repite mientras no se cumpla la condición del while.
Tal y como lo tienes, en el momento en que el usuario introduce 's' finaliza el bucle y se pinta lo que está a continuación (por eso te aparece dos veces la pregunta).
Deberías reestructurarlo... Una alternativa (basándome en tu código):
do {
System.out.println("Introduzca su nombre: ");
nombre.add(sc.nextLine());
System.out.println("Introduzca su dorsal: ");
dorsal.add(sc.nextInt());
System.out.println("Desea seguir agregando s/n ? :");
op = sc.next().charAt(op);
} while (op=='s');
System.out.println("Gracias por usar nuestro programa hasta luego");
sc.close();
System.out.println(jugador);
Es decir, mientras el usuario seleccione 's' se seguirá repitiendo lo que está dentro del bucle. Si pulsa otra tecla, se terminará.
Podrías mejorarlo para controlar que si lo introducido no es 's' o 'n' continúe pidiendo insertar un valor válido. :)
Un saludo!