1

Estoy iniciando con lo del web scrapping, por lo que intenté hacer un scrapping a stackoverflow en español que consiguiera los titulares de la portada, pero al recibir el archivo csv todo me aparece en blanco, ¿Cual podría ser el error?. Este es mi código.

from scrapy.item import Field
from scrapy.item import Item
from scrapy.spiders import Spider
from scrapy.selector import Selector
from scrapy.loader import ItemLoader

class Pregunta(Item):
    pregunta = Field()
    id = Field()

class StackOverflowSpider(Spider):
    name = "MiSpider"
    start_urls= ["https://es.stackoverflow.com/"]
    def parse (self,response):
        sel= Selector(response)
        preguntas= sel.xpath('//*[@id="question-mini-list"]/div/div')


        for i, elem in enumerate(preguntas):
            item = ItemLoader(Pregunta(),elem)
            item.add_xpath('.//h3/a/text()') 
            item.add_value("id",i)
            yield item.load_item()
2
  • 1
    Es importante que revises cómo se recibe la petición cuando la haces de forma automatizada. Si haces un CURL de esa URL, cómo recibes la página? Una vez veas ésto, podrás ver cómo acceder a los recursos que buscas. Lo importante es que no asumas que todo se recibe como se ve en el navegador.
    – Alfabravo
    Commented el 13 dic. 2019 a las 18:56
  • Cuando dices los "titulares de la portada" te refieres a las preguntas?, nunca he usado scrapy, pero creo que con BeautifulSoup, se puede obtener lo que deseas, page = BeautifulSoup(requests.get('https://es.stackoverflow.com/').text,'html.parser') Commented el 13 dic. 2019 a las 19:30

1 respuesta 1

1

Tenes que leer lo que muestra cuando ejecutas el scraper, en una parte está el siguiente error:

Traceback (most recent call last):
  File "main.py", line 23, in parse
      item.add_xpath('.//h3/a/text()')
  TypeError: add_xpath() missing 1 required positional argument: 'xpath'

Que significa que le falta un argumento al método add_xpath. Antes del xpath tenes que pasarle a que atributo de Pregunta se refiere, de esta forma:

item.add_xpath('pregunta', './/h3/a/text()')

Y ahí ya escribe correctamente el archivo.

1
  • Toda la razón, he agregado el argumento y funcionó perfecto, muchas gracias!
    – MoisesT
    Commented el 16 dic. 2019 a las 18:31

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.