solucione el problema agregando un reloj para sincronizar los fps del juego, de esa forma los eventos tienen un tiempo definido por frame.
srand(time(NULL));
window->setFramerateLimit(60);
Con esto hecho los eventos se manejan adecuadamente ya que los ponemos bajo sincronia del reloj del sistema.