1

Estoy intentando hacer una búsqueda recursiva en una página web con Scrapy. He modificado el valor en el fichero de settings.py de DEPTH_LIMIT = 4 y mi código queda de la siguiente manera:

class HreflocalizeSpider(scrapy.Spider):

    name = 'hrefLocalize'
    allowed_domains = [URL]
    start_urls = ('URL_DE_BUSQUEDA',)
    rules = Rule(LinkExtractor(allow=()), callback='parse', follow=True)
    settings.overrides['DEPTH_LIMIT'] = 4 # Puse esto para forzar el cambio
    settings.overrides['DEPTH_PRIORITY'] = 4

    def parse(self, response):
        hxs = scrapy.Selector(response)
        lines = hxs.xpath('//@href').extract()
        linkPattern = re.compile(r'^(?:ftp|http|https):\/\/(?:[\w\.\-\+]+:{0,1}[\w\.\-\+]*@)?(?:[a-z0-9\-\.]+)(?::[0-9]+)?(?:\/|\/(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+)|\?(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+))?$')
        for line in lines:
            print(line)
            if linkPattern.match(line):
                yield Request(line, self.parse)

Pero aún así con todo esto, el programa siempre me dice que

'request_depth_max': 1

He visto que importa el middleware para hacer la búsqueda en profundidad, pero aún así, no hace dicha búsqueda.

¿Alguien me podría echar una mano y decirme que estoy haciendo mal?

¡Muchas gracias de antemano!

1 respuesta 1

0

Buen día,

Por defecto DEPTH_LIMITes 0 esto quiere decir que no tiene límite.

La variable que tu mencionas request_depth_max es del resultado de lo que hizo el código no la configuración.

En tu código spider no hace ninguna consulta a otras páginas, solo busca información de las páginas superiores, es por eso que el request_depth_max es siempre 1

Si haces que envíe consultas a otras páginas entonces request_depth_max será mayor a 1

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.