Skip to main content
1 de 3

Scrapy Python: Hacer una busqueda recursiva en una pagina

Estoy intentando hacer una busqueda recursiva en una pagina web con Scrapy. He modificado el valor en el fichero de settings.py de DEPTH_LIMIT = 4 y mi codigo queda de la siguiente manera:

class HreflocalizeSpider(scrapy.Spider):
   name = "hrefLocalize"
   allowed_domains = [URL]
   start_urls = (
    'URL_DE_BUSQUEDA',
   )
   rules = (    Rule(LinkExtractor(allow=()),callback='parse', follow=True))
   settings.overrides['DEPTH_LIMIT']= 4 #Puse esto para forzar el cambio
   settings.overrides['DEPTH_PRIORITY']= 4

   def parse(self, response):
      hxs = scrapy.Selector(response)
      lines = hxs.xpath("//@href").extract()
      linkPattern = re.compile("^(?:ftp|http|https):\/\/(?:[\w\.\-\+]+:{0,1}[\w\.\-\+]*@)?(?:[a-z0-9\-\.]+)(?::[0-9]+)?(?:\/|\/(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+)|\?(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+))?$")
      for line in lines:
      print line
      if linkPattern.match(line):
              yield Request(line,self.parse)

Pero aun asi con todo esto, el programa siempre me dice que

'request_depth_max': 1

He visto que importa el middleware para hacer la busqueda en profundidad, pero aun asi, no hace dicha busqueda.

Alguien me podria echar una mano y decirme que estoy haciendo mal??

Muchas gracias de antemano!