2

Estoy scrapeando una página web, http://www.nowgoal.com que es a grandes rasgos una tabla donde en cada fila hay un link que te envía a una nueva página. El código es el siguiente

browser.get('http://www.nowgoal.com') 
title=WebDriverWait(
browser,5).until(EC.presence_of_element_located((
By.CLASS_NAME,'Leaguestitle'))).text
print(title)

Idealmente, aquí obtendría una lista con todos los elementos que enlazan a una página, pero para el ejemplo, basta con 2 distintos.

links=browser.find_element_by_xpath('//*[@id="tr1_1475430"]/td[9]/div/div/a[3]')
lonks=browser.find_element_by_xpath('//*[@id="tr1_1365410"]/td[9]/div/div/a[3]')

El comportamiento de esta página es el de abrir una nueva pestaña cada vez que haces click, en lugar de cargar la nueva página sobre la principal. Es decir, si yo hago esto

links.click()
lonks.click()

Obtengo en el WebDriver además de la página inicial, 2 pestañas más. Mi teoría, si me lo puede confirmar alguien se lo agradecería, es que al seguir estando asociada la página principal a "browser", sigue siendo posible ejecutar lonks.click(). Pero que si al hacer links.click() se cargase la nueva página en la misma pestaña, browser pasaría a contener esta nueva página y por tanto lonks no encontraría el elemento a clicar. Esto es así, o lonks guarda la asignación y podría ejecutarse igualmente?

En cualquier caso, como quiero scrapear cosas de la página abierta por links, asocio a un nuevo elemento

perry=links.click()

y busco en la nueva página tal que así

tit=WebDriverWait(perry,20).until(EC.presence_of_element_located(
    (By.XPATH,'//*[@id="teammain2"]/table[1]/tbody/tr/td[2]/table/tbody/tr[1]/td/h4/div/strong'))).text

Lamentablemente, obtengo el siguiente error

AttributeError: 'NoneType' object has no attribute 'find_element'

Supongo que se me escapa algo, porque soy bastante nuevo en la lógica detrás de hacer click y dónde se carga el elemento clicado. ¿Qué se me escapa?

1 respuesta 1

1

Al hacer click en el enlace simplemente se abre una nueva pestaña, para poder acceder a los elementos de esta debes cambiar el foco a ella.

Cuando haces:

perry=links.click()

perry es solo el retorno del método click, es decir None, de ahí el error posterior.


Puedes ayudarte de los atributos window_handles y current_window_handle junto a driver.switch_to.window para cambiar el foco entre pestañas.

Este es un ejemplo con algunos comentarios usando tu código:

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By


browser = webdriver.Firefox()
browser.get('http://www.nowgoal.com') 
title=WebDriverWait(browser,5).until(EC.presence_of_element_located((By.CLASS_NAME,'Leaguestitle'))).text
links=browser.find_element_by_xpath('//*[@id="tr1_1475430"]/td[9]/div/div/a[3]')

# Conjunto con todas las pestañas que existen en este momento
previous_tabs = set(browser.window_handles)

# Pestaña actual
previous_tab = browser.current_window_handle

# Abrimos la nueva pestaña haciendo click en el elemento.
links.click()
WebDriverWait(browser, 20).until(EC.number_of_windows_to_be(len(previous_tabs) + 1))

# Obtenemos la nueva pestaña
newWindow = (set(browser.window_handles) - previous_tabs).pop()

# Cambiamos el foco a la nueva pestaña y hacemos lo que queramos en ella
browser.switch_to.window(newWindow)
tit=WebDriverWait(browser, 20).until(EC.presence_of_element_located(
    (By.XPATH,'//*[@id="teammain2"]/table[1]/tbody/tr/td[2]/table/tbody/tr[1]/td/h4/div/strong'))).text
print(tit)

# Cerramos la pestaña
browser.close()

# Volvemos a la pestaña inicial
browser.switch_to_window(previous_tab)

# Cerramos sesión cuando terminemos todo
browser.quit()

Es importante que cierres las pestañas cuando ya no te sean necesarias para evitar consumo innecesario de recursos.

Nota: el código está probado y funciona sin incidencias usando GeckoDriver (Firefox). No testeado con otros drivers, aunque no debe haber problemas con la compatibilidad entre drivers y/o sistemas operativos.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.