Primero tenemos que seleccionar la forma de obtener la info, yo uso XPath, para los resultados que requerimos que es la tabla de conversion de divisas es:
divisas = response.xpath('//*[@id="acumulado"]/section[3]/section[1]/div/div/div')
Para poder almacenar los resultados se debe configurar el archivo items.py
import scrapy
class DivisasItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
nombre = scrapy.Field()
ultimo = scrapy.Field()
anterior = scrapy.Field()
variacion = scrapy.Field()
fechahora = scrapy.Field(serializer=str)
pass
Luego en el archivo del spider creado:
# -*- coding: utf-8 -*-
import scrapy
from divisas.items import *
class LanacionSpider(scrapy.Spider):
name = 'lanacion'
allowed_domains = ['lanacion.com.ar']
start_urls = ['http://www.lanacion.com.ar/economia/divisas']
def parse(self, response):
##print(response.xpath('//*[@id="acumulado"]/section[3]/section[1]/div/div/div').extract())
divisas = response.xpath('//*[@id="acumulado"]/section[3]/section[1]/div/div/div')
items = []
for divisa in divisas:
item = DivisasItem()
print (divisa.xpath('label[1]').extract())
item['nombre'] = divisa.xpath('label[1]/text()').extract()
item['ultimo'] = divisa.xpath('label[2]/b/text()').extract()
item['anterior'] = divisa.xpath('label[3]/text()').extract()
item['variacion'] = divisa.xpath('label[4]/text()').extract()
item['fechahora'] = divisa.xpath('label[5]/text()').extract()
items.append(item)
##pass
return items
He subido todos los archivos a mi Git Spider por Jhovanny Uribe
Corremos el spider
scrapy crawl lanacion -o file.csv -t csv
Revisamos que el archivo queda exportado correctamente
cat file.csv
anterior,nombre,variacion,ultimo,fechahora
anterior,Descripción,variación,,[u'fecha/hora']
"37,900",Dolar Minorista," -0,53%","37,700",[u'25.10 - 16:56']
"9,936",Real x Pesos," +0,0%","9,937",[u'25.10 - 21:16']
"0,2622",Real x Dolar," +0,0%","0,2636",[u'25.10 - 21:16']
"42,184",Euro x Pesos," -0,8%","41,845",[u'25.10 - 21:16']
"1,1130",Euro x Dolar," -0,8%","1,1099",[u'25.10 - 21:16']
"0,729",Pesos x Peso Mex.," 0,0%","0,729",[u'25.10 - 21:16']
"0,0192",Peso Mex. x Dolar," 0,0%","0,0193",[u'25.10 - 21:16']
"0,054",Pesos x Peso Chile," -0,2%","0,054",[u'25.10 - 21:16']
"0,0014",Peso Chile x Dolar," -0,2%","0,0014",[u'25.10 - 21:16']
"0,326",Pesos x Yen," +0,5%","0,328",[u'25.10 - 21:16']
"0,0086",Yen x Dolar," +0,5%","0,0087",[u'25.10 - 21:16']
"47,723",Libras x Peso ," -1,0%","47,242",[u'25.10 - 21:16']
"1,2592",Libra x Dolar," -1,0%","1,2531",[u'25.10 - 21:16']
"2,861",PURU x Pesos," 0,0%","2,861",[u'25.10 - 21:16']
"0,0755",PURU x Dolar," 0,0%","0,0759",[u'25.10 - 21:16']
"37,900",Dolar Banco Nacion," -0,5%","37,700",[u'25.10 - 21:16']
La exportacion a la base de datos MySql puede realizarse al final, o durante el proceso usadon Pipeline