Estoy iniciando con lo del web scrapping, por lo que intenté hacer un scrapping a stackoverflow en español que consiguiera los titulares de la portada, pero al recibir el archivo csv todo me aparece en blanco, ¿Cual podría ser el error?. Este es mi código.
from scrapy.item import Field
from scrapy.item import Item
from scrapy.spiders import Spider
from scrapy.selector import Selector
from scrapy.loader import ItemLoader
class Pregunta(Item):
pregunta = Field()
id = Field()
class StackOverflowSpider(Spider):
name = "MiSpider"
start_urls= ["https://es.stackoverflow.com/"]
def parse (self,response):
sel= Selector(response)
preguntas= sel.xpath('//*[@id="question-mini-list"]/div/div')
for i, elem in enumerate(preguntas):
item = ItemLoader(Pregunta(),elem)
item.add_xpath('.//h3/a/text()')
item.add_value("id",i)
yield item.load_item()
page = BeautifulSoup(requests.get('https://es.stackoverflow.com/').text,'html.parser')