1

Esta es mi primera pregunta, así que trataré de formularla lo mejor posible.

He estado trabajando en una aplicación Scrapy, la cual tiene la misión de recabar información de una tabla, para presentarla finalmente como filas de una tabla MySQL.

La definición de la función que captura los datos de la tabla de origen es similar a esta:

def search_query_page(self, response):
        #print(response.css("#row tbody tr td").extract())
        for tr in response.css("table.results tbody tr"):
                                            item = SpiderItem()
                                            item["a"] = tr.css("td:first-child a::text").extract_first(),
                                            item["b"] = home_url + tr.css("td:first-child a").attrib['href'],
                                            item["c"] = tr.css("td:nth-child(2)::text").extract_first(),
                                            item["d"] = tr.css("td:nth-child(3)::text").extract_first(),
                                            item["e"] = tr.css("td:nth-child(4)::text").extract_first(),
                                            item["f"] = tr.css("td:nth-child(5)::text").extract_first(),
                                            item["g"] = tr.css("td:nth-child(6)::text").extract_first(),
                                            item["h"] = tr.css("td:nth-child(7)::text").extract_first(),
                                            item["i"] = tr.css("td:nth-child(8)::text").extract_first()
                                            items.append(item)
                                            yield item

Luego creé dos pequeñas aplicaciones, solo para 1) probar la conexión con la base de datos y 2) crear la tabla respectiva en la base de datos. Con el primero, descubrí y resolví un problema de conexión. Con el segundo, creé la tabla en la base de datos, a la primera corrida. El problema lo tengo en el archivo pipelines.py, el cual define el destino de la salida de la araña. La conexión de Python con la base de datos es a través de PyMySql.

Con esta información, configuré la salida de los datos en el archivo pipelines.py. Corro el spider con el comando (ejemplo):

scrapy crawl spider

con salida a stdin, o

scrapy crawl spider --logfile=tabla.log

Para mejor escrutinio sobre la salida del trabajo.

Lo que no he logrado hacer, es que la salida de este spider sea almacenada en filas en la tabla de la base de datos. El código escrito en pipelines.py es:

import pymysql.cursors
from scrapy.exceptions import NotConfigured

# Connect to the database


#definir clase
class SpiderPipeline(object):
    """A pipeline to store the item in a MySQL database.
    This implementation uses Twisted's asynchronous database API.
    """

    @classmethod
    def from_crawler(cls, crawler):
        db_settings = crawler.settings.getdict("DB_SETTINGS")
        if not db_settings:
            raise NotConfigured
        db = db_settings['nombre_bd']
        user = db_settings['usuario_bd']
        passwd = db_settings['contraseña_bd']
        host = db_settings['servidor_bd']
        return cls(db, user, passwd, host)

    def open_spider(self, spider):
        connection = pymysql.connect(host='servidor_bd',
                             user='usuario_bd',
                             password='contraseña_bd',
                             db='nombre_bd',
                             charset='utf8',
                             cursorclass=pymysql.cursors.DictCursor)

    def process_item(self, item, spider):
        now = datetime.utcnow().replace(microsecond=0).isoformat(' ')
        sql = "INSERT INTO `cases` (a, b, c, d, e, f, g, h, i, updated) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s)"

        try:
            cursor.execute(sql,
                            (
                                item.get("a"),
                                item.get("b"),
                                item.get("c"),
                                item.get("d"),
                                item.get("e"),
                                item.get("f"),
                                item.get("g"),
                                item.get("h"),
                                item.get("i"),
                                now
                            )
                            )
            yield item
            connection.commit()

        except:
            connection.rollback()

    def close_spider(self, spider):
        cursor.close()
        connection.close()

No me da error por ningún lado, pero igual no escribe las filas en la base de datos MySQL.

Dos datos finales: La estructura de la tabla es id, a, b, c, d, e, f, g, h, i, updated. id es entero, auto-increment, y updated es timestamp.

Los privilegios del usuario de la base de datos son Select table data | Insert table data | Update table data | Delete table data | Create tables | Reload grants

Ahora sí, va mi pregunta: ¿Cómo implemento correctamente la inserción de los diferentes items capturados por el spider, en sus respectivas columnas y filas de la base de datos? El número de filas escrito hasta ahora, permanece en cero.

Mil gracias

Oswaldo

3
  • Respondiste tu duda en la misma pregunta?
    – user128299
    el 10 nov. 2019 a las 23:39
  • Reverti tu edición pues no es correcto respondas tu duda en la misma pregunta, si ya tienes la solución entonces por favor publicala en la zona de respuestas
    – user128299
    el 10 nov. 2019 a las 23:42
  • Me hace gracia, porque seguí las sugerencias del mismo sistema. Novato es novato. el 13 nov. 2019 a las 0:58

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.