Estoy intentando hacer una búsqueda recursiva en una página web con Scrapy. He modificado el valor en el fichero de settings.py
de DEPTH_LIMIT = 4
y mi código queda de la siguiente manera:
class HreflocalizeSpider(scrapy.Spider):
name = 'hrefLocalize'
allowed_domains = [URL]
start_urls = ('URL_DE_BUSQUEDA',)
rules = Rule(LinkExtractor(allow=()), callback='parse', follow=True)
settings.overrides['DEPTH_LIMIT'] = 4 # Puse esto para forzar el cambio
settings.overrides['DEPTH_PRIORITY'] = 4
def parse(self, response):
hxs = scrapy.Selector(response)
lines = hxs.xpath('//@href').extract()
linkPattern = re.compile(r'^(?:ftp|http|https):\/\/(?:[\w\.\-\+]+:{0,1}[\w\.\-\+]*@)?(?:[a-z0-9\-\.]+)(?::[0-9]+)?(?:\/|\/(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+)|\?(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+))?$')
for line in lines:
print(line)
if linkPattern.match(line):
yield Request(line, self.parse)
Pero aún así con todo esto, el programa siempre me dice que
'request_depth_max': 1
He visto que importa el middleware para hacer la búsqueda en profundidad, pero aún así, no hace dicha búsqueda.
¿Alguien me podría echar una mano y decirme que estoy haciendo mal?
¡Muchas gracias de antemano!