Skip to main content
agrega etiquetas, modifica el título, correción de identación, aplica pep 8
Origen Enlace

Scrapy Python: Hacer ¿Cómo hacer una busqueda recursiva en una pagina?

class HreflocalizeSpider(scrapy.Spider):
   name = "hrefLocalize"
   allowed_domains = [URL]
   start_urls = (
    'URL_DE_BUSQUEDA',
   )
   rules = (    Rule(LinkExtractor(allow=()),callback='parse', follow=True))
   settings.overrides['DEPTH_LIMIT']= 4 #Puse esto para forzar el cambio
   settings.overrides['DEPTH_PRIORITY']= 4

   def parse(self, response):
      hxs = scrapy.Selector(response)
      lines = hxs.xpath("//@href").extract()
      linkPattern = re.compile("^(?:ftp|http|https):\/\/(?:[\w\.\-\+]+:{0,1}[\w\.\-\+]*@)?(?:[a-z0-9\-\.]+)(?::[0-9]+)?(?:\/|\/(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+)|\?(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+))?$")
      for line in lines:
      print line
      if linkPattern.match(line):
              yield Request(line,self.parse)
class HreflocalizeSpider(scrapy.Spider):

    name = 'hrefLocalize'
    allowed_domains = [URL]
    start_urls = ('URL_DE_BUSQUEDA',)
    rules = Rule(LinkExtractor(allow=()), callback='parse', follow=True)
    settings.overrides['DEPTH_LIMIT'] = 4 # Puse esto para forzar el cambio
    settings.overrides['DEPTH_PRIORITY'] = 4

    def parse(self, response):
        hxs = scrapy.Selector(response)
        lines = hxs.xpath('//@href').extract()
        linkPattern = re.compile(r'^(?:ftp|http|https):\/\/(?:[\w\.\-\+]+:{0,1}[\w\.\-\+]*@)?(?:[a-z0-9\-\.]+)(?::[0-9]+)?(?:\/|\/(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+)|\?(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+))?$')
        for line in lines:
            print(line)
            if linkPattern.match(line):
                yield Request(line, self.parse)

¿Alguien me podría echar una mano y decirme que estoy haciendo mal??

Scrapy Python: Hacer una busqueda recursiva en una pagina

class HreflocalizeSpider(scrapy.Spider):
   name = "hrefLocalize"
   allowed_domains = [URL]
   start_urls = (
    'URL_DE_BUSQUEDA',
   )
   rules = (    Rule(LinkExtractor(allow=()),callback='parse', follow=True))
   settings.overrides['DEPTH_LIMIT']= 4 #Puse esto para forzar el cambio
   settings.overrides['DEPTH_PRIORITY']= 4

   def parse(self, response):
      hxs = scrapy.Selector(response)
      lines = hxs.xpath("//@href").extract()
      linkPattern = re.compile("^(?:ftp|http|https):\/\/(?:[\w\.\-\+]+:{0,1}[\w\.\-\+]*@)?(?:[a-z0-9\-\.]+)(?::[0-9]+)?(?:\/|\/(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+)|\?(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+))?$")
      for line in lines:
      print line
      if linkPattern.match(line):
              yield Request(line,self.parse)

¿Alguien me podría echar una mano y decirme que estoy haciendo mal??

¿Cómo hacer una busqueda recursiva en una pagina?

class HreflocalizeSpider(scrapy.Spider):

    name = 'hrefLocalize'
    allowed_domains = [URL]
    start_urls = ('URL_DE_BUSQUEDA',)
    rules = Rule(LinkExtractor(allow=()), callback='parse', follow=True)
    settings.overrides['DEPTH_LIMIT'] = 4 # Puse esto para forzar el cambio
    settings.overrides['DEPTH_PRIORITY'] = 4

    def parse(self, response):
        hxs = scrapy.Selector(response)
        lines = hxs.xpath('//@href').extract()
        linkPattern = re.compile(r'^(?:ftp|http|https):\/\/(?:[\w\.\-\+]+:{0,1}[\w\.\-\+]*@)?(?:[a-z0-9\-\.]+)(?::[0-9]+)?(?:\/|\/(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+)|\?(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+))?$')
        for line in lines:
            print(line)
            if linkPattern.match(line):
                yield Request(line, self.parse)

¿Alguien me podría echar una mano y decirme que estoy haciendo mal?

mi toke majiko
Origen Enlace
toledano
  • 5k
  • 10
  • 41
  • 66

Estoy intentando hacer una busquedabúsqueda recursiva en una paginapágina web con Scrapy. He modificado el valor en el fichero de settings.pysettings.py de DEPTH_LIMIT = 4DEPTH_LIMIT = 4 y mi codigocódigo queda de la siguiente manera:

class HreflocalizeSpider(scrapy.Spider):
   name = "hrefLocalize"
   allowed_domains = [URL]
   start_urls = (
    'URL_DE_BUSQUEDA',
   )
   rules = (    Rule(LinkExtractor(allow=()),callback='parse', follow=True))
   settings.overrides['DEPTH_LIMIT']= 4 #Puse esto para forzar el cambio
   settings.overrides['DEPTH_PRIORITY']= 4

   def parse(self, response):
      hxs = scrapy.Selector(response)
      lines = hxs.xpath("//@href").extract()
      linkPattern = re.compile("^(?:ftp|http|https):\/\/(?:[\w\.\-\+]+:{0,1}[\w\.\-\+]*@)?(?:[a-z0-9\-\.]+)(?::[0-9]+)?(?:\/|\/(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+)|\?(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+))?$")
      for line in lines:
      print line
      if linkPattern.match(line):
              yield Request(line,self.parse)

Pero aun asiaún así con todo esto, el programa siempre me dice que

'request_depth_max': 1

He visto que importa el middlewaremiddleware para hacer la busquedabúsqueda en profundidad, pero aun asiaún así, no hace dicha busquedabúsqueda.

Alguien¿Alguien me podriapodría echar una mano y decirme que estoy haciendo mal??

Muchas¡Muchas gracias de antemano!

Estoy intentando hacer una busqueda recursiva en una pagina web con Scrapy. He modificado el valor en el fichero de settings.py de DEPTH_LIMIT = 4 y mi codigo queda de la siguiente manera:

class HreflocalizeSpider(scrapy.Spider):
   name = "hrefLocalize"
   allowed_domains = [URL]
   start_urls = (
    'URL_DE_BUSQUEDA',
   )
   rules = (    Rule(LinkExtractor(allow=()),callback='parse', follow=True))
   settings.overrides['DEPTH_LIMIT']= 4 #Puse esto para forzar el cambio
   settings.overrides['DEPTH_PRIORITY']= 4

   def parse(self, response):
      hxs = scrapy.Selector(response)
      lines = hxs.xpath("//@href").extract()
      linkPattern = re.compile("^(?:ftp|http|https):\/\/(?:[\w\.\-\+]+:{0,1}[\w\.\-\+]*@)?(?:[a-z0-9\-\.]+)(?::[0-9]+)?(?:\/|\/(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+)|\?(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+))?$")
      for line in lines:
      print line
      if linkPattern.match(line):
              yield Request(line,self.parse)

Pero aun asi con todo esto, el programa siempre me dice que

'request_depth_max': 1

He visto que importa el middleware para hacer la busqueda en profundidad, pero aun asi, no hace dicha busqueda.

Alguien me podria echar una mano y decirme que estoy haciendo mal??

Muchas gracias de antemano!

Estoy intentando hacer una búsqueda recursiva en una página web con Scrapy. He modificado el valor en el fichero de settings.py de DEPTH_LIMIT = 4 y mi código queda de la siguiente manera:

class HreflocalizeSpider(scrapy.Spider):
   name = "hrefLocalize"
   allowed_domains = [URL]
   start_urls = (
    'URL_DE_BUSQUEDA',
   )
   rules = (    Rule(LinkExtractor(allow=()),callback='parse', follow=True))
   settings.overrides['DEPTH_LIMIT']= 4 #Puse esto para forzar el cambio
   settings.overrides['DEPTH_PRIORITY']= 4

   def parse(self, response):
      hxs = scrapy.Selector(response)
      lines = hxs.xpath("//@href").extract()
      linkPattern = re.compile("^(?:ftp|http|https):\/\/(?:[\w\.\-\+]+:{0,1}[\w\.\-\+]*@)?(?:[a-z0-9\-\.]+)(?::[0-9]+)?(?:\/|\/(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+)|\?(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+))?$")
      for line in lines:
      print line
      if linkPattern.match(line):
              yield Request(line,self.parse)

Pero aún así con todo esto, el programa siempre me dice que

'request_depth_max': 1

He visto que importa el middleware para hacer la búsqueda en profundidad, pero aún así, no hace dicha búsqueda.

¿Alguien me podría echar una mano y decirme que estoy haciendo mal??

¡Muchas gracias de antemano!

Origen Enlace

Scrapy Python: Hacer una busqueda recursiva en una pagina

Estoy intentando hacer una busqueda recursiva en una pagina web con Scrapy. He modificado el valor en el fichero de settings.py de DEPTH_LIMIT = 4 y mi codigo queda de la siguiente manera:

class HreflocalizeSpider(scrapy.Spider):
   name = "hrefLocalize"
   allowed_domains = [URL]
   start_urls = (
    'URL_DE_BUSQUEDA',
   )
   rules = (    Rule(LinkExtractor(allow=()),callback='parse', follow=True))
   settings.overrides['DEPTH_LIMIT']= 4 #Puse esto para forzar el cambio
   settings.overrides['DEPTH_PRIORITY']= 4

   def parse(self, response):
      hxs = scrapy.Selector(response)
      lines = hxs.xpath("//@href").extract()
      linkPattern = re.compile("^(?:ftp|http|https):\/\/(?:[\w\.\-\+]+:{0,1}[\w\.\-\+]*@)?(?:[a-z0-9\-\.]+)(?::[0-9]+)?(?:\/|\/(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+)|\?(?:[\w#!:\.\?\+=&%@!\-\/\(\)]+))?$")
      for line in lines:
      print line
      if linkPattern.match(line):
              yield Request(line,self.parse)

Pero aun asi con todo esto, el programa siempre me dice que

'request_depth_max': 1

He visto que importa el middleware para hacer la busqueda en profundidad, pero aun asi, no hace dicha busqueda.

Alguien me podria echar una mano y decirme que estoy haciendo mal??

Muchas gracias de antemano!