0

Buen día.

Necesito tomar datos de la tabla de la pagina http://lanacion.com.ar/econimia/divisas y debo hacerlo con scrapy, buscando información por internet, encontré que no sería la mejor opción scrapy, pero dado que se me pidió desde el trabajo no tengo opción.

Estuve intentando bastante pero ni siquiera logre hacer que el spider toma los datos. Le doy que tome los datos del xpath //div[@class='fila'] pero cuando termina de correr el spider, nunca devuelve nada, me deja un archivo vacío, sin importar que cambie en el código. Puedo dejar vacío el spider y de igual manera no cambia para el resultado. No tengo experiencia en scrapy, lo cual seguramente, debe ser gran parte del problema.

Para correrlo estoy usando una maquina virtual sobre Windows 10 para usar Ubuntu y le doy el comando scrapy crawl miproyecto.
Desde ya, muchas gracias.

2
  • la url de referencia esta mal escrita, debe ser, lanacion.com.ar/economia/divisas hay un typo en la escritura
    – JUribe
    Commented el 25 oct. 2018 a las 22:59
  • Puedes subir el codigo de tu spider para revisarlo?
    – JUribe
    Commented el 26 oct. 2018 a las 0:20

1 respuesta 1

0

Primero tenemos que seleccionar la forma de obtener la info, yo uso XPath, para los resultados que requerimos que es la tabla de conversion de divisas es:

divisas = response.xpath('//*[@id="acumulado"]/section[3]/section[1]/div/div/div')

Para poder almacenar los resultados se debe configurar el archivo items.py

import scrapy


class DivisasItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    nombre = scrapy.Field()
    ultimo = scrapy.Field()
    anterior = scrapy.Field()
    variacion = scrapy.Field()
    fechahora = scrapy.Field(serializer=str)
    pass

Luego en el archivo del spider creado:

# -*- coding: utf-8 -*-
import scrapy
from divisas.items import *


class LanacionSpider(scrapy.Spider):
    name = 'lanacion'
    allowed_domains = ['lanacion.com.ar']
    start_urls = ['http://www.lanacion.com.ar/economia/divisas']

    def parse(self, response):
        ##print(response.xpath('//*[@id="acumulado"]/section[3]/section[1]/div/div/div').extract())
        divisas = response.xpath('//*[@id="acumulado"]/section[3]/section[1]/div/div/div')

        items = []

        for divisa in divisas:
            item = DivisasItem()
            print (divisa.xpath('label[1]').extract())
            item['nombre']  = divisa.xpath('label[1]/text()').extract()
            item['ultimo'] = divisa.xpath('label[2]/b/text()').extract()
            item['anterior'] = divisa.xpath('label[3]/text()').extract()
            item['variacion'] = divisa.xpath('label[4]/text()').extract()
            item['fechahora'] = divisa.xpath('label[5]/text()').extract()

            items.append(item)


        ##pass

        return items

He subido todos los archivos a mi Git Spider por Jhovanny Uribe

Corremos el spider

scrapy crawl lanacion -o file.csv -t csv

Revisamos que el archivo queda exportado correctamente

cat file.csv

anterior,nombre,variacion,ultimo,fechahora

anterior,Descripción,variación,,[u'fecha/hora']

"37,900",Dolar Minorista," -0,53%","37,700",[u'25.10 - 16:56']

"9,936",Real x Pesos," +0,0%","9,937",[u'25.10 - 21:16']

"0,2622",Real x Dolar," +0,0%","0,2636",[u'25.10 - 21:16']

"42,184",Euro x Pesos," -0,8%","41,845",[u'25.10 - 21:16']

"1,1130",Euro x Dolar," -0,8%","1,1099",[u'25.10 - 21:16']

"0,729",Pesos x Peso Mex.," 0,0%","0,729",[u'25.10 - 21:16']

"0,0192",Peso Mex. x Dolar," 0,0%","0,0193",[u'25.10 - 21:16']

"0,054",Pesos x Peso Chile," -0,2%","0,054",[u'25.10 - 21:16']

"0,0014",Peso Chile x Dolar," -0,2%","0,0014",[u'25.10 - 21:16']

"0,326",Pesos x Yen," +0,5%","0,328",[u'25.10 - 21:16']

"0,0086",Yen x Dolar," +0,5%","0,0087",[u'25.10 - 21:16']

"47,723",Libras x Peso ," -1,0%","47,242",[u'25.10 - 21:16']

"1,2592",Libra x Dolar," -1,0%","1,2531",[u'25.10 - 21:16']

"2,861",PURU x Pesos," 0,0%","2,861",[u'25.10 - 21:16']

"0,0755",PURU x Dolar," 0,0%","0,0759",[u'25.10 - 21:16']

"37,900",Dolar Banco Nacion," -0,5%","37,700",[u'25.10 - 21:16']

La exportacion a la base de datos MySql puede realizarse al final, o durante el proceso usadon Pipeline

6
  • debiste esperar a que suba su código y de ahi partir
    – user75901
    Commented el 26 oct. 2018 a las 0:52
  • Gracias. Intenté correr tu código y no funcionó, de hecho me tiro varios errores. El que mas destaco, es que no encuentra el spider. Intente tanto usando los archivos que ofreciste como copiar a mano el codigo y no funciono. Commented el 27 oct. 2018 a las 1:00
  • Lo invito a clonar este repositorio github.com/jjuribe/lanacion/tree/master/divisas
    – JUribe
    Commented el 27 oct. 2018 a las 3:04
  • Luego de clonar ejecute el spider de acuerdo a la respuesta.
    – JUribe
    Commented el 27 oct. 2018 a las 3:05
  • @GonzaloOrtiz pudiste correr el code ?
    – JUribe
    Commented el 3 nov. 2018 a las 22:11

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.