item.add_xpath('id','//*[@id="search"]/div/input')
Quiero extraer el atributo "value" que está dentro de de la etiqueta div, lo que yo supongo es que debo añadir algo a esta línea de código, pero lo dejaré todo por si acaso, les agradecería su ayuda
from scrapy.item import Item, Field
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.loader import ItemLoader
class StackItem(Item):
tag = Field()
user = Field()
id = Field()
class StackCrawler(CrawlSpider):
name = "CrawlerStack"
allowed_domains = ['es.stackoverflow.com']
start_urls = ['https://es.stackoverflow.com/users']
rules={
Rule(LinkExtractor(allow=r'page=')),
Rule(LinkExtractor(allow=r'/users/'), callback = 'parse_items')
}
def parse_items(self, response):
item = ItemLoader(StackItem(), response)
item.add_xpath('user','//*[@id="user-card"]/div/div[2]/div/div[1]/div/div[1]/h2/div/text()')
item.add_xpath('tag','//*[@id="top-tags"]/div/div[1]/div/div/div[1]/a/text()')
item.add_xpath('id','//*[@id="search"]/div/input')
yield item.load_item()