1

Tengo un programa de Python cuyo objetivo es abrir y cargar una página web dinámica. Para ello, el script es el siguiente

url="https://www.bet365.es"
options = webdriver.ChromeOptions()
options.add_argument('--disable-gpu')
options.add_argument('--no-sandbox')
options.add_argument('--disable-setuid-sandbox')
options.add_argument('--disable-dev-shm-usage')

#This for arguments above, I've tried with and without them. No difference

options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
browser=webdriver.Chrome(options=options,executable_path="/usr/bin/chromedriver")
    
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
                          "source": """
                            Object.defineProperty(navigator, 'webdriver', {
                              get: () => undefined
                            })
                          """
                        })
browser.execute_cdp_cmd('Network.setUserAgentOverride', 
                            {"userAgent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.53 Safari/537.36'})
    
browser.get(url)
WebDriverWait(browser,10).until(
            EC.element_to_be_clickable((By.XPATH,'.//div[contains(@class,"-WebConsoleModule ")]')))
print('Browser Bet365 abierto')

Para ejecutarlo en la terminal de Ubuntu xvfb-run -a python3 stest.py start.

Haciendo esto, a veces consigo que se cargue, como prueba la imagen siguiente introducir la descripción de la imagen aquí

Lo normal sin embargo es que el script de error al buscar el xpath. Imprimiendo el page-source he visto que lo que hay cargado es lo mismo que si se cargara la página en un navegador normal, y se diera a Ctrl+U. Es decir, selenium no está cargando el contenido dinámico de la web.

  • Si no pongo el prefijo xvfb-run el chromedriver no se abre (DevPortActiveTools file doesn't exists)
  • Los 4 argumentos pasados como .add_argument no suponen diferencia alguna. Ha cargado con y sin ellos, y ha dejado de cargar con y sin ellos.
  • Los argumentos de .add_experimental_option y los de execute son necesarios porque Bet365 si no detecta que es un navegador automatizado y no te muestra el contenido.

Necesito entender por qué no siempre la ejecución es exitosa, y qué cambiar para que selenium y chromedriver se comporten como en remoto y carguen todo el contenido, incluido el dinámico, el 100% de las veces.

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.