Estoy intentando hacer una búsqueda recursiva en una página web con Scrapy. He modificado el valor en el fichero de `settings.py` de `DEPTH_LIMIT  = 4` y mi código queda de la siguiente manera:

    class HreflocalizeSpider(scrapy.Spider):
       name = "hrefLocalize"
       allowed_domains = [URL]
       start_urls = (
        'URL_DE_BUSQUEDA',
       )
       rules = (	Rule(LinkExtractor(allow=()),callback='parse', follow=True))
       settings.overrides['DEPTH_LIMIT']= 4 #Puse esto para forzar el cambio
       settings.overrides['DEPTH_PRIORITY']= 4

       def parse(self, response):
	      hxs = scrapy.Selector(response)
	      lines = hxs.xpath("//@href").extract()
	      linkPattern = re.compile("^(?:ftp|http|https):\/\/(?:[\w\.\-\+]+:{0,1}[\w\.\-\+]*@)?(?:[a-z0-9\-\.]+)(?::[0-9]+)?(?:\/|\/(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+)|\?(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+))?$")
	      for line in lines:
		  print line
		  if linkPattern.match(line):
		          yield Request(line,self.parse)


Pero aún así con todo esto, el programa siempre me dice que 

    'request_depth_max': 1

He visto que importa el *middleware* para hacer la búsqueda en profundidad, pero aún así, no hace dicha búsqueda.

¿Alguien me podría echar una mano y decirme que estoy haciendo mal??

¡Muchas gracias de antemano!