1

estoy intentando obtener las url de los anuncios que aparecen en las búsquedas que se realizan en esta url 'https://www.internetcorkboard.com/ar?q=brain+stem+injuries'

from selenium import webdriver
from bs4 import BeautifulSoup

driver.get('https://www.internetcorkboard.com/ar?q=brain+stem+injuries')
soup = BeautifulSoup(driver.page_source, 'html')

, el problema es que hay un documento html dentro del page_source de la página, que es donde se almacena las url que me interesan

¿alguien sabe como acceder al documento y que se pueda scrapear?

0

1 respuesta 1

0

He probado a obtener los links directamente y a partir de ellos extraer su atributo href, pero por algún motivo que desconozco no funciona para los links de los anuncios.

He tenido éxito obteniendo el elemento padre que contiene el link anuncio:

elements = driver.find_elements_by_class_name('PartialSearchResults-item-title')

La lista elements es una lista de elementos <div>, cada uno de ellos contiene un elemento <a> cuyo atributo href es el link del anuncio.

Puedes iterar sobre cada uno de los elementos para encontrar el <a> que te interesa, y a partir de este obtener el atributo href:

for element in elements:
    links = element.find_elements_by_tag_name('a')

    for link in links:
        url = link.get_attribute('href')

En resumen:

from selenium import webdriver


driver = webdriver.Chrome(executable_path='chromedriver.exe')
driver.get(f'https://www.internetcorkboard.com/web?qo=semQuery&ad=semA&q=brain%20stem%20injuries&o=100081&ag=fw&an=google_s')


elements = driver.find_elements_by_class_name('PartialSearchResults-item-title')
urls = []

for element in elements:
    links = element.find_elements_by_tag_name('a')
    # links es una lista de un solo elemento
    # por lo que a continuación utilizo un bucle
    # pero podrías declarar link = links[0] y continuar sin el siguiente bucle

    for link in links:
        url = link.get_attribute('href')
        urls.append(url)

for url in urls:
    print(url)
2
  • El problemas está en que las url de los anuncios no se capturan, por lo que he estado viendo creo que es un iframe pero no estoy del todo seguro, si cambio al iframe no puedo capturar ningún dato Commented el 26 abr. 2020 a las 14:19
  • Llevas razón, no se capturan los links de los anuncios. He modificado la respuesta, echa un vistazo! si entendí bien la pregunta funciona. Un saludo.
    – tecnobillo
    Commented el 27 abr. 2020 a las 14:38

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.