1

Estoy intentando hacer web-scrapping a fotocasa. El problema que tengo es que solo me scrapea los 4 primeros datos, cabe decir que justo cada 4 anuncios de casa ellos ponen una publicidad, tiene eso algo que ver?, ya he intentado aumentando los tiempos de espera y nada. Dejo parte del código aquí, ya que no se si es un fallo del código o simplemente me esta bloqueando la página.

import time
from selenium.webdriver.common.keys import Keys
from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriver.common.action_chains import ActionChains

chrome_path = 'C:\Program Files\Google\Chrome\Application\chromedriver'
driver = webdriver.Chrome(executable_path=chrome_path)
driver.get("https://www.fotocasa.es/es")
driver.maximize_window()

time.sleep(2)
aceptar_cookies = driver.find_element_by_xpath('//*[@id="App"]/div[4]/div/div/div/footer/div/button[2]')
aceptar_cookies.click()

time.sleep(2)
alquilar = driver.find_element_by_xpath('//*[@id="App"]/div[2]/main/section/div/div[2]/div[1]/div/div[2]/label')
alquilar.click()

time.sleep(1)
buscador = driver.find_element_by_xpath('//*[@id="App"]/div[2]/main/section/div/div[2]/div[2]/div[2]/form/div/div/div/div/input')
buscador.click()
buscador.send_keys('Baleares')
time.sleep(1)
buscador.send_keys(Keys.ENTER)

time.sleep(5)

def mover_abajo(x):
    for i in range(x):
        ActionChains(driver).key_down(Keys.PAGE_DOWN).key_up(Keys.PAGE_DOWN).perform()
        time.sleep(5)
        
html_txt = driver.page_source
soup = BeautifulSoup(html_txt, 'lxml')

mover_abajo(2)

anuncios = soup.find_all('article', attrs={'class':'re-Searchresult-itemRow'})
lista_precios = []
for anuncio in anuncios:
    dinero = anuncio.find('span', attrs={'class':'re-Card-price'})
    mover_abajo(1)
    lista_precios.append(dinero)

Recibo los 4 primeros valores de manera correcta y luego solo recibo None.

Esto es una respuesta al scrapeo que luego me da None ya que no tienen la misma estructura (mirando el código fuente de la pagina si tiene la misma estructura) que los otros, como podéis ver tiene clases como fakeItemLocation...

"</div><div class="re-SearchpagePlaceholder-content"><span class="re-SearchpagePlaceholder-fakeitemTimer"></span><span class="re-SearchpagePlaceholder-fakeitemLocation"></span><span class="re-SearchpagePlaceholder-fakeitemPrice"></span><span class="re-SearchpagePlaceholder-fakeitemHabs"></span><span class="re-SearchpagePlaceholder-fakeitemShortText"></span><div class="re-SearchpagePlaceholder-fakeitemContactContainer"><

Selenium lo utilizo para acceder al buscador, escribir el texto que quiera y buscar así anuncios por zonas, para recoger los datos utilizo Beautiful Soap.


4
  • Una pregunta se considera resulta cuando has aceptado una respuesta o has compartido la solución
    – Christian
    el 19 jul. 2021 a las 12:03
  • He compartido la solución, por lo tanto la considero resuelta @Christian, si quieres intento que sea más visible la solución
    – Lluc Matas
    el 19 jul. 2021 a las 12:05
  • La solución va en la sección de respuestas
    – Christian
    el 19 jul. 2021 a las 12:21
  • 1
    Listo, en cuanto me deje aceptarla como respuesta lo hare.
    – Lluc Matas
    el 19 jul. 2021 a las 12:25

2 respuestas 2

1

SOLUCIÓN

La solución ha sido meter las lineas:

html_txt = driver.page_source
soup = BeautifulSoup(html_txt, 'lxml')

En un bucle for, quedando asi:

for x in range(10):
    html_txt = driver.page_source
    soup = BeautifulSoup(html_txt, 'lxml')
    anuncios = soup.find_all('article', attrs={'class':'re-Searchresult-itemRow'})
    lista_precios = []
    for anuncio in anuncios:
        dinero = anuncio.find('span', attrs={'class':'re-Card-price'})
        # get_texto_ignorando_hijo(anuncios)
        print(dinero)
        mover_abajo(1)
        lista_precios.append(dinero)

Doy por hecho que el fallo ha sido que BeautifulSoup no estaba recogiendo el html que se estaba actualizando cuando Selenium trabajaba.

0

Hola buenas has probado con un enter por si las moscas, hay veces que por defecto viene señalizado y solo un enter bastaría. .send_keys("webdriver" + Keys.ENTER) Cuando llegue a casa lo compruebo y te digo. Un saludo.

1
  • Creo que no has entendido la pregunta o yo no he entendido tu respuesta, el problema, era que Beautiful Soup no estaba actualizando la página mientras que Selenium la recorría. Gracias de todos modos.
    – Lluc Matas
    el 19 jul. 2021 a las 11:10

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.