amigos tengo un script en python para realizar un scraping a tridadvisor, el mismo se ejecuta sin marcar error y me crea el archivo pero sin datos o sea en blanco. A que se deberá este error, alguien podría brindarme alguna ayuda se lo agradecería.
from scrapy.item import Field
from scrapy.item import Item
from scrapy.spiders import CrawlSpider, Rule
from scrapy.selector import Selector
from scrapy.loader.processors import MapCompose
from scrapy.linkextractors import LinkExtractor
from scrapy.loader import ItemLoader
from scrapy.crawler import CrawlerProcess
class Hotel(Item):
nombre = Field()
precio = Field()
descripcion = Field()
amenities = Field()
class SpiderTripAdvisor(CrawlSpider):
name = "Hoteles"
custom_settings = {
"USER_AGENT": "Mozilla/5.0 (X11; Linux x86_64; rv:93.0) Gecko/20100101 Firefox/93.0"
}
url_seed = [
"https://www.tripadvisor.cl/Hotels-g294305-Santiago_Santiago_Metropolitan_Region-Hotels.html"
]
download_delay = 2
rules = (
Rule(
LinkExtractor(allow=r"/Hotel_Review-"), follow=True, callback="parse_hotel"
),
)
def parse_hotel(self, response):
sel = Selector(response)
item = ItemLoader(Hotel(), sel)
item.add_xpath("nombre", '//h1[@id="HEADING"]/text()')
item.add_xpath("precio", '//div[@class="vyNCd"]/text()')
item.add_xpath("descripcion", '/html/body/div[2]/div[2]/div[2]/div[4]/div/div[1]/div[4]/div/div/div/div/div[2]/div[1]/div[7]/div/div[1]/text()')
item.add_xpath("amenities", '/html/body/div[2]/div[2]/div[2]/div[4]/div/div[1]/div[4]/div/div/div/div/div[2]/div[2]/div[1]/div[2]/text()')
yield item.load_item()
el codigo que escribo en consola para ejecutar el script es e siguiente
scrapy runspider 01-tripadvisor.py -o hoteles.json -t json