2

soy nuevo en scraping y estoy haciendo un raspado horizontal y vertical con scrapy. al momento de ejecutar mi codigo me genera el archivo .csv pero vacio, sin la informacion raspada. este es mi codigo. alguien me puede decir que esta mal?

_author_ = 'jesus toxort'

from scrapy.item import Field
from scrapy.item import Item
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.loader import ItemLoader
from scrapy.selector import Selector

class AirbnbItem(Item):
    regla = Field()
    id = Field()

class AirbnbCrawler(CrawlSpider):
    name = "CrawlerAirbnb"
    start_urls= ["https://www.airbnb.com/s/Londres--Reino-Unido"]
    allowed_domains = ['airbnb.com']
    rules = (
            Rule(LinkExtractor(allow=r'offset=')),
            Rule(LinkExtractor(allow=r'/rooms'), callback = 'parse_items'),
            )
def parse_items(self, response):
    sel = Selector(response)
    reglas = sel.xpath('//*[@id="house-rules"]/div/section') 
    for i, elem in enumerate(reglas):
        item = ItemLoader(AirbnbItem(), elem)
        item.add_xpath('regla', './/div/div/text()')
        item.add_value('id', i)
        yield item.load_item()
1
  • 2
    Dudo muchísimo que puedas hacerle web scraping a Airbnb. ¿Has visto la cantidad de peticiones POST que hace a su API cuando visitas la url mencionada? Mejor consigue acceso a su API: airbnb.com/partner Saludos :D
    – fredyfx
    el 26 may. 2018 a las 0:21

1 respuesta 1

1

Si, como dice @fredyfx, la página obtiene su información con peticiones POST (ejecutadas desde Javascript) eso implica que bajándote sin más el HTML, los elementos que estás buscando con expresiones XPath simplemente no existen aún, porque se crearán desde Javascript cuando se reciban las peticiones a las respuestas.

Esto puede comprobarse fácilmente. Descargamos la página:

$ wget https://www.airbnb.com/s/Londres--Reino-Unido

Miramos si contiene la cadena "/rooms", que es la que tu scraper usa para extraer enlaces:

$  grep /rooms Londres--Reino-Unido

No sale nada. La cadena no aparece en la página. Si en cambio lo ejecutas en un navegador y usas la herramienta "inspeccionar página", sí que verás en el HTML elementos como:

<meta itemprop="url" content="www.airbnb.es/rooms/17247557?location=Londres%2C%20Reino%20Unido">

Estos elementos no estaban en el HTML descargado, sino que aparecen ahí como resultado de cierto javascript ejecutado por el navegador, siguiendo instrucciones contenidas en el propio documento descargado o en scripts externos enlazados desde ese documento.

Por tanto, y en definitiva, para hacer scraping de páginas generadas dinámicamente, es necesario ejecutar el correspondiente javascript, lo que requiere un navegador real pues python no puede ejecutar javascript.

Aunque es un gran inconveniente, no es imposible. Muchos navegadores modernos incorporan la capacidad de ser "controlados" desde un script. Así python podría lanzar un navegador, mandarle cargar esa página (el navegador ejecutaría el javascript y generaría los contenidos dinámicos) y después python puede recuperar el HTML generado, o incluso simular acciones de un usuario tales como "pinchar tal botón", o "mover el ratón encima de tal imagen".

Un paquete para python que permite hacer estas cosas es requests-html. Por desgracia no veo claro cómo integrarlo en scrapy. Es más bien para bajarse una sola página y hacer scraping sobre ella, y no para hacer spiders que puedan continuar bajándose automáticamente los enlaces encontrados.

Otro, que usa un principio diferente, es scrapy-splash. Este permite integrar splash para que sea usado desde scrapy. splash es un software que hace de servidor y actúa como proxy entre scrapy y el verdadero servidor. Se baja la página, ejecuta el javascript, y se la sirve a scrapy.

No lo he usado y no puedo decirte qué tal va, pero a priori parece difícil de instalar, pues el método recomendado en el manual es tener splash ejecutándose en un contenedor docker...

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.