0

comunidad. estoy intentando extraer la informacion tecnica de cada uno de los vehiculos de esa pagina web, en un formato Json, pero al momento de ejecutar el codigo en consola, el resultado es el formato Json pero sin ningun dato, es decir no se guarda nada. Cuando ejecuto en la consola con el comando scrapy crawl project, todo parece salir bien, pero no se extrae ninguna informacion. Se crea el documento que solicite, se guarda pero sin ninguna informacion en el. Podrian ayudarme, soy bastante nuevo en este mundo, y quiero mejorar.

aqui el codigo:

#Links = ('//div[@class="figcaption"]/a[@href]/@href')
#names_vehicles ('//div[@class="figcaption"]/span[@class="code-name"]/text()').getall()')
#Vehicle_Descripstion_header //div[@class="inner"]//ul[@class="technical_info_nav"]/li[@class]/a[@href]/text()
#vehicle_description_body = div[@class="inner"]//div[@class="technical_info_content"]/div[contains(@class, "description")]//div[@class="spec-name col-lg-4 ng-binding"]//text()

import scrapy

class SpiderProject(scrapy.Spider):
    name = 'project'
    start_urls = [
    'https://hitachicm.com.au/machinery/machinery/'
]

custom_settings = {
    'FEED_URI': 'project.json',
    'FEED_FORMAT': 'json',
    'CONCURRENT_REQUESTS': 24,
    'MEMUSAGE_LIMIT_MB': 2048,
    'ROBOTSTXT_OBEY': True,
    'USER_AGENT': 'LionSegura',
    'FEED_EXPORT_ENCODING': 'utf-8'
}

def parse(self, response, **kwargs):
    if kwargs:
        vehicles = kwargs['vehicles']
        description = kwargs['description']
        description_header = kwargs['description header']

    vehicles.extend(response.xpath('//div[@class="inner"]//ul[@class="technical_info_nav"]/li[@class]/a[@href]/text()').get())
    description.extend(response.xpath('div[@class="inner"]//div[@class="technical_info_content"]/div[contains(@class, "description")]//div[@class="spec-name col-lg-4 ng-binding"]//text()').getall())
    description_header.extend(response.xpath('//div[@class="inner"]//ul[@class="technical_info_nav"]/li[@class]/a[@href]/text()').getall())




    links_vehicles = response.xpath('//div[@class="figcaption"]/a[@href]/@href').getall()
    for link in links_vehicles:
        yield response.follow(link, callback=self.parse, cb_kwargs={'vehicles' : vehicles, 'description header': description_header, 'description': description})



def parse_link(self, response, **kwards):
    link=kwards['url']
    names_vehicles = response.xpath('//div[@class="figcaption"]/span[@class="code-name"]/text()').getall()
    vehicle_description_header = response.xpath('//div[@class="inner"]//ul[@class="technical_info_nav"]/li[@class]/a[@href]/text()').get()
    vehicle_description_body = response.xpath('//div[@class="inner"]//div[@class="technical_info_content"]/div[contains(@class, "description")]//div[@class="spec-name col-lg-4 ng-binding"]//text()').getall()

    yield{
        'url': link,
        'Kind of Vehicle' : names_vehicles,
        'Description_header' : vehicle_description_header,
        'Description body' : vehicle_description_body
    }
6
  • 1
    El codigo va como texto con formato, por favor edita tu pregunta
    – Christian
    Commented el 1 feb. 2023 a las 1:38
  • Cuesta más sacar una captura que copiar y pegar el código. Por cierto, sé más claro. ¿Qué obtienes y qué esperas? No entiendo lo del "formato vacío".
    – Mateo
    Commented el 1 feb. 2023 a las 1:42
  • Ademas de lo indicado por los compas (que si pasas el código a texto nos harás mas facil ayudarte), recuerda no usar mayusculas sostenidas. En internet, eso es gritar.
    – Dante S.
    Commented el 1 feb. 2023 a las 1:44
  • Hola Leonardo, bienvenido a Stack Overflow en español. Deberías editar y mostrar el código que has probado, como ejemplo de lo que estás explicando. Te invito a realizar el recorrido de bienvenida y que visites Cómo preguntar para aprender a realizar un ejemplo mínimo verificable. Recibirás más respuestas, y de calidad, si la pregunta está correctamente redactada.
    – Fly
    Commented el 1 feb. 2023 a las 9:02
  • 1
    Cómo ejecutas el código? Osea como instanciad la clase, llamas a las funciones que argumentos les pasas
    – Christian
    Commented el 1 feb. 2023 a las 20:40

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.