Skip to main content
3 de 3
agrega etiquetas, modifica el título, correción de identación, aplica pep 8

¿Cómo hacer una busqueda recursiva en una pagina?

Estoy intentando hacer una búsqueda recursiva en una página web con Scrapy. He modificado el valor en el fichero de settings.py de DEPTH_LIMIT = 4 y mi código queda de la siguiente manera:

class HreflocalizeSpider(scrapy.Spider):

    name = 'hrefLocalize'
    allowed_domains = [URL]
    start_urls = ('URL_DE_BUSQUEDA',)
    rules = Rule(LinkExtractor(allow=()), callback='parse', follow=True)
    settings.overrides['DEPTH_LIMIT'] = 4 # Puse esto para forzar el cambio
    settings.overrides['DEPTH_PRIORITY'] = 4

    def parse(self, response):
        hxs = scrapy.Selector(response)
        lines = hxs.xpath('//@href').extract()
        linkPattern = re.compile(r'^(?:ftp|http|https):\/\/(?:[\w\.\-\+]+:{0,1}[\w\.\-\+]*@)?(?:[a-z0-9\-\.]+)(?::[0-9]+)?(?:\/|\/(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+)|\?(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+))?$')
        for line in lines:
            print(line)
            if linkPattern.match(line):
                yield Request(line, self.parse)

Pero aún así con todo esto, el programa siempre me dice que

'request_depth_max': 1

He visto que importa el middleware para hacer la búsqueda en profundidad, pero aún así, no hace dicha búsqueda.

¿Alguien me podría echar una mano y decirme que estoy haciendo mal?

¡Muchas gracias de antemano!