He probado a obtener los links directamente y a partir de ellos extraer su atributo href, pero por algún motivo que desconozco no funciona para los links de los anuncios.
He tenido éxito obteniendo el elemento padre que contiene el link anuncio:
elements = driver.find_elements_by_class_name('PartialSearchResults-item-title')
La lista elements
es una lista de elementos <div>
, cada uno de ellos contiene un elemento <a>
cuyo atributo href es el link del anuncio.
Puedes iterar sobre cada uno de los elementos para encontrar el <a>
que te interesa, y a partir de este obtener el atributo href:
for element in elements:
links = element.find_elements_by_tag_name('a')
for link in links:
url = link.get_attribute('href')
En resumen:
from selenium import webdriver
driver = webdriver.Chrome(executable_path='chromedriver.exe')
driver.get(f'https://www.internetcorkboard.com/web?qo=semQuery&ad=semA&q=brain%20stem%20injuries&o=100081&ag=fw&an=google_s')
elements = driver.find_elements_by_class_name('PartialSearchResults-item-title')
urls = []
for element in elements:
links = element.find_elements_by_tag_name('a')
# links es una lista de un solo elemento
# por lo que a continuación utilizo un bucle
# pero podrías declarar link = links[0] y continuar sin el siguiente bucle
for link in links:
url = link.get_attribute('href')
urls.append(url)
for url in urls:
print(url)